Nvidia выпустила уникальный ИИ, создающий новые звуки

Мария Власова

Источник: The Verge

Компания Nvidia представила собственную нейросеть, способную создавать совершенно новые звуки и генерировать привычные с помощью тестовых подсказок.

Главные тезисы

ИИ Fugatto от Nvidia создает новые звуки и изменяет характеристики привычных звуков, сочетая необычные элементы, такие как мяуканье кота и звук трубы.
Новый генеративный ИИ от Nvidia позволяет выделять язык и изменять его звучание, от тонов до настроения, открывая новые возможности для звукового дизайна.
Разработчики утверждают, что нейросеть Fugatto способна выполнять задачи, не входившие в программу обучения, и представляют его как прорыв для современной музыки.
Новый ИИ Nvidia работает без подключения к интернету, что позволяет использовать его на компьютере для создания уникального контента по запросу.
Компания ограничивает доступ к технологии из-за потенциальных рисков, связанных с нарушением авторских прав и законов, но надеется, что новый ИИ принесет инновации в музыкальную и аудиоиндустрии.

Что известно о новом ИИ от Nvidia

Отмечается, что новая генеративная нейросеть от Nvidia получила название Fugatto — сокращение от Foundational Generative Audio Transformer Opus 1.

Разработчики заявляют, что нейросеть с помощью генеративного ИИ способна создавать новые звуки, сочетая мяуканье кота и звук трубы, или превращая звук фортепиано в голос человека.

При этом разработчики утверждают, что Fugatto способна выполнять задачи, первоначально не входившие в программу ее обучения.

В частности, нейросеть способна выделять язык и изменять характеристики его звучания — тон, акцент и настроение.

Кроме этого ИИ способен генерировать звуки, которые изменяются со временем, в частности, шум ливня, движущегося по Земле.

По мнению менеджера по прикладным аудиоисследованиям компании Рафаэля Валле, Fugatto станет таким же прорывом для современной музыки, как когда-то синтезатор.

Впрочем, пока разработчики не спешат открывать технологию для всех желающих.

По мнению компании, любая генеративная ШИ-модель всегда несет в себе определенные риски, поскольку люди могут использовать ее "для создания того, чего мы предпочитали избегать", в частности, связанное с авторским правом, а также нарушением некоторых законов.

Что известно о разработке Nvidia собственного аналога ChatGPT

Отличием представленного Nvidia ИИ является то, что он способен работать на компьютере без подключения к Интернету.

Принцип работы прост: человек спрашивает, ИИ отвечает или создает контент по запросу. При этом в программе можно выбрать одну из двух больших языковых моделей — Mistral или Llama 2. Кроме этого, нейросеть Chat with RTX способна обрабатывать видео с YouTube.