Microsoft создала нейросеть, генерирующую видео человека по одному фото и аудиозаписи

Виталий Лубенец

Источник: Блог Microsoft

Корпорация Microsoft представила нейросеть VASA-1. Она может генерировать реалистичные видео человека на основе одной фотографии и аудиозаписи.

Новая нейросеть Microsoft VASA-1

Нейросеть может создать реалистичное видео на основе статического фото и одной аудиозаписи.

VASA-1 способна не только воспроизводить движения синхронизируемых со звуком губ, но также улавливать широкий спектр нюансов лица и естественных движений головы.

Модель может генерировать онлайн-видео размером 512x512 пикселей со скоростью до 40 кадров в секунду с незначительной стартовой задержкой.

Это прокладывает путь для взаимодействия в реальном времени с реалистичными аватарами, имитирующими поведение людей в разговоре, пишет Microsoft.

В компании подчеркивают, что нейросеть не предназначена для создания контента, используемого для заблуждения.

Однако его все еще можно использовать для злоупотребления. Microsoft пишет, что выступает против любого поведения, направленного на создание обманчивого или вредного содержимого в отношении реальных лиц.

В то же время, там отметили, что такие преимущества, как повышение равенства в образовании, улучшение доступности для лиц с проблемами общения, а также терапевтическая поддержка — подчеркивают важность таких исследований.

Мы стремимся ответственно разрабатывать искусственный интеллект с целью улучшения благосостояния людей.

Исследователи решили не выпускать продукт на рынок, пока не будут уверены, что их технология "будет использоваться ответственно и в соответствии с надлежащими правилами".