«Главный хак — это идея»

Илья Гадаев из Cream Soda — об участии ИИ в продакшене «Истерики» и опыте работы с нейросетями

24 апреля Cream Soda выпустили новый альбом «Истерика»: два трека из треклиста были созданы при помощи инструментов искусственного интеллекта. Мы поговорили с сооснователем группы Ильёй Гадаевым о том, какие инструменты он использовал в работе над музыкой, как применять разные нейросети для решения различных задач и почему иногда самые странные результаты оказываются самыми ценными.

Илья Гадаев

сооснователь Cream Soda

— Каким было первое столкновение Cream Soda c ИИ-технологиями?

— В 2021 году мы создали первый ИИ-клип на трек «Меланхолия». Мы с Антоном Дворсоном генерировали визуал под каждую строчку песни — получилось абстрактно, но красиво. Тогда видео-ИИ ещё по сути не существовало, поэтому результат выглядит довольно зачаточно. Интересно вернуться к нему спустя 5 лет и увидеть, как далеко мы продвинулись с ИИ. Мне кажется, артефакты — одна из самых интересных особенностей ИИ, особенно в музыкальном плане, хотя многие их избегают.

— В продакшене каких треков вы использовали ИИ?

— В новом альбоме «Истерика» есть два трека — «Армор» и «Тамагочи», написанные на основе нескольких генераций в Suno. Я генерировал Bollywood disco и использовал случайные тексты, найденные в интернете, на разных языках. Получались очень интересные комбинации индийского диско и фольклорных особенностей языков.

Работа над треками «Армор» и «Тамагочи»

Затем из этого материала я собирал структуру треков из отобранных частей, отделял инструменты с помощью стем-сепарации и дописывал музыку сам. В итоге получались треки с готовой структурой и вокальной мелодией, на которые мы с Алисой затем сочинили свои тексты и перезаписали вокал. В некоторых случаях сами треки подсказывали нам слова.

—Какие примеры использования ИИ в музыке вас впечатлили?

— Есть отличный альбом Lee Gamble — Models, в котором Ли использовал собственную систему машинного обучения для создания ИИ-вокала. После этого альбома я начал серьёзно относиться к ИИ в музыке.

Скриншот готового трека

— В каких случаях артисту или продюсеру уместно использовать нейросети в работе?

— ИИ — это просто новый инструмент, поэтому его можно использовать как угодно: для написания, поиска референсов, разделения дорожек. Он может помочь в экстренных случаях, когда, например, нужно быстро сделать версию трека с тихим вокалом, а под рукой нет оригинальных стемов. Такая возможность есть в FL Studio, я часто ей пользуюсь. Это также полезно для сэмплирования, создания новых версий, ремиксов и эдитов.

Пример разделения дорожек трека для коррекции громкости вокала

—Какие именно инструменты вы используете в работе над треками?

Extract Stems FL Studio — разделение музыки на дорожки (drums, bass, instruments, vocals).

FL Cloud Mastering — мастеринг музыки. Удобно, когда нужно быстро отмастерить трек перед вечеринкой или если сроки горят. Мой альбом «Dream and Bass» отмастерен этим инструментом.

Suno — самая известная ИИ для генерации музыки, хороша для сэмплирования, создания референсов и экспериментов.

Eleven Labs — удобный генератор голоса, где можно создать собственную модель на основе аудио. Прекрасно подходит для закадрового озвучивания.

Lalals — ИИ, которая может заменить голос. Удобно, когда есть вокальная идея, но отсутствует навык пения: можно примерно напеть что-то и затем заменить голос на более профессиональный.

NEUTONE VST — плагин, который в реальном времени пытается заменить инструмент, например скрипку на флейту.

ИИ может спасти в экстренной ситуации: быстро и качественно донести идеи, сделать работу, которую человек не успевает выполнить. И они вдохновляют на 100%: никто не запрещает экспериментировать с ИИ — писать странные промпты, обрабатывать файлы, которые изначально для этого не предназначены, смешивать несмешиваемое. Как минимум это весело, а как максимум — может дать неожиданный полезный результат.

— Какие инструменты вы бы посоветовали использовать начинающим музыкантам?

— В целом все эти инструменты гораздо проще для понимания, чем большинство обычных плагинов. По сути, нужно просто разобраться, куда и что вводить.

— О каких нюансах важно знать новичкам в работе с нейросетями?

— Сейчас в интернете очень много гайдов по промптингу, поэтому лучше всего изучить один из них, чтобы понять, как каждый конкретный ИИ воспринимает информацию. Но главный хак всё равно у вас в голове — это идея.