Как изменять голос и делать нейрокаверы? — БАЗА ДЛЯ НОВИЧКОВ

Важная информация

Ссылка на бота — https://t.me/suno_musicbot

Мы постарались реализовать процесс максимально легко, без лишних настроек и телодвижений. В будущем для продвинутых пользователей они появятся (без конкретных сроков). Сейчас же наша задача обеспечить максимально легкий порог входа наших пользователей для замены голоса:

  • Нейрокаверы и замены голоса сейчас находятся на этапе теста, так что качество в некоторых моментах может оставлять желать лучшего.
  • Голоса, которые используются в нашей нейросети, не являются голосами реальных исполнителей, персонажей и других реально существующих людей. Они просто похожи 😇

Форматы и ограничения

  • Поддерживаемые форматы: голосовое сообщение, .wav, .mp3, .flac
  • Макс. длина трека: 10 минут
  • Макс. размер файла: 50мб
  • Макс. длина текста в «Текст в речь»: 2500 символов

Вы можете пересылать голосовые сообщения или треки. Бот их поймет.

В разработке находится возможность слать ссылку на ютуб

Как начать?

Выберите пункт в меню «Замена голоса»

На выбор Вам будет предложено 4 варианта

  • Нейрокавер
  • Замена голоса
  • Текст в речь
  • Добавить новый голос

После выбора у Вас отобразится кнопка, после нажатия на которую вы попадете в мини-приложение, где будет представлен список всех доступных голосов.

Вы можете использовать поиск или фильтровать голоса по заданным тегам.

После того как определились с исполнителем — нажмите на него. Вам придет сообщение:

Нажмите подтвердить, чтобы перейти к следующему шагу, или изменить, если передумали.

1.Нейрокавер

Режим нейрокавера идеально подходит для замены голоса в существующем треке.

После того как выбран голос, Вам будет предложено отправить трек, в котором необходимо изменить вокал. Отправьте трек (передерживаясь установленных форматов и ограничений на размер и продолжительности трека)

Среднее время ожидании при трехминутном треке составляет около 3-4 минут. Чем дольше трек — тем дольше ждать

Как работает нейрокавер:

  • Отделяет инструментал от вокала
  • Изменяет вырезанный вокал на выбранный Вами голос
  • Объеденяет измененный вокал с музыкой
  • Отправляет готовый трек

Подбирайте голоса одинаковые по тембру к входному аудиофайлу

Так как тембр голоса (семитоны) у всех разный — рекомендуем подбирать голос максимально похожий под оригинальный вокал, чтобы избежать «роботности» в голосе или слишком высоких неестественных интонаций

В разработке находится функция автоматической корректировки семитона, но пока ещё не реализована

Не все треки подходят для автоматического создания нейрокавера

Подбирайте композиции, где речь достаточна четкая, чтобы нейросеть смогла выделить его изменить. Если речь не четкая, или музыка слишком сильно накладывается на голос, могут быть «пробуксовки», когда происходят либо запинания, либо просачивается голос настоящего исполнителя

2.Замена голоса

Данный режим работает аналогично нейрокаверу (тоже меняет голос), но не предназначен для ввода музыки.

Идеальный режим работы — это отправка голосовых сообщений и замена своего голоса. Но это не значит, что Вы не сможете загружать аудифайл другого типа. Вы так же можете отправлять .mp3, .wav и .flac

Придерживайтесь пожалуйста данных правил:

  • Постарайтесь избегать шумов
  • Говорите четко и ясно
  • Если Вы девушка, и хотите преобразовать в мужской вокал — говорите более высоким тембром. Аналогично мужчинам — говорите более высоким голосом

3.Текст в речь

Внимание! Данный функционал находится в очень раннем доступе. Модели, которые не были обучены на обычных диалогах могут выдавать «робота» и говорить с английским акцентом. Рекомендуется не использовать музыкантов!

Отправьте текст, не превышающий 2500 символов и в ответ бот пришлет Вам аудиофайл зачитанный выбранным голосом.

Среднее время ожидания — ~3 минкты

Общие рекомендации

  • Зарубежные исполнители хорошо говорят на английском (или другом языке), но плохо (с акцентом) на русском. Работает это и в обратную сторону. Экспериментируйте, но будьте аккуратны.
  • Избегайте дуэтов. В дуэте оба голоса будут изменены и будут накладываться друг на друга
  • Избегайте треков, где есть отчетливо слышная подпевка (хор)
  • Если Вы сначала генерируете музыку, то попробуйте указывать в тегах при генерации [clear woman vocal] или что-то аналогичное. Потому что сгенерированные треки часто зажевывают фразы и при замене голоса