Nvidia випустила унікальний ШІ, що створює нові звуки

Марія Власова

Джерело: The Verge

Компанія Nvidia представила власну нейромережу, здатну створювати абсолютно нові звуки та генерувати звичні за допомогою тестових підказок.

Головні тези:

Нова нейромережа Fugatto від Nvidia створює абсолютно нові звуки та має можливість генерувати звичні за допомогою тестових підказок.
Fugatto змінює характеристики звуків, поєднуючи незвичайні елементи, такі як нявкання кота та звук труби, або трансформуючи звук фортепіано у голос людини.
Завдяки нейромережі Fugatto, вдало вдається виділяти мову та змінювати її звучання, включаючи тон, акцент та настрій.
Fugatto відкриває нові можливості для музики та звукового дизайну, але компанія Nvidia поки що не поспішає відкривати технологію для загального використання.
ШІ створене безпосередньо для роботи на комп’ютері без Інтернет-підключення, що робить його унікальним серед подібних моделей.

Що відомо про новий ШІ від Nvidia

Зазначається, що нова генеративна нейромережа від Nvidia отримала назву Fugatto — скорочення від Foundational Generative Audio Transformer Opus 1.

Розробники заявляють що нейромережа за допомогою генеративного ШІ здатна створювати нові звуки, поєднуючи нявкання кота та звук труби, або перетворюючи звук фортепіано на голос людини.

При цьому розробники стверджують, що Fugatto здатна виконувати завдання, які початково не входили до програми її навчання.

Зокрема, нейромережа здатна виділяти мову і змінювати характеристики її звучання — тон, акцент і настрій.

Окрім цього ШІ здатний генерувати звуки, які змінюються з часом, зокрема, шум зливи, що рухається по Землі.

На думку менеджера з прикладних аудіодосліджень компанії Рафаеля Валле, Fugatto стане таким самим проривом для сучасної музики, як колись синтезатор.

Втім, поки розробники не поспішають відкривати технологію для всіх охочих.

На думку компанії, будь-яка генеративна ШІ-модель завжди несе в собі певні ризики, оскільки люди можуть використовувати її "для створення того, чого ми вважали за краще б уникати", зокрема, пов'язанне з авторським правом, а також порушенням деяких законів.

Що відомо про розробку Nvidia власного аналогу ChatGPT

Відмінністю представленого Nvidia ШІ є те, що він здатен працювати на комп’ютері без підключення до інтернету.

Принцип роботи простий: людина запитує, ШІ відповідає або створює контент за запитом. При цьому в програмі можна вибрати одну з двох великих мовних моделей — Mistral або Llama 2. Крім цього, нейромережа Chat with RTX здатна обробляти відео з YouTube.