Компания Deepdub использует искусственный интеллект для дубляжа фильмов на разных языках, пока технология не позволяет дублировать фильмы в режиме свободного времени, однако используется в постпродакшене.
Источник: VentureBeat
Дубляж фильмов искусственным интеллектом
Израильский стартап Deepdub был основан в 2019 году братьями Ниром Краковским и Офиром Краковским.
Компания предоставляет услуги дубляжа на основе искусственного интеллекта для фильмов, телевизионных программ, игр и рекламы.
Алгоритмы компании – которые еще не могут дублировать голоса в режиме реального времени, но подключаются к системам постпродакшн – пытаются соответствовать синхронизации губ или движению губ в выходном медиа на нескольких языках одновременно.
[Наши] модели искусственного интеллекта позволяют воспроизводить голосовые характеристики, используя не более трех минут голосовых данных. Голос, сгенерированный ИИ, на целевом языке может работать на любом уровне выразительности, включая плач, крик, разговор с едой во рту [и многое другое] — даже если исходные голосовые данные не включали эту информацию, – сказал Нир Краковски.
Работа Deepdub включает в себя Every Time I Die, англоязычный триллер 2019 года, который стартап озвучил на испанском и португальском языках. Это один из первых случаев, когда в дублированных фильмах используются клоны голоса на основе голосов оригинального актерского состава.
[Мы] работаем с несколькими голливудскими студиями над разными проектами. С момента публичного запуска в декабре 2020 года, Deepdub уже заключил многосерийное партнерство с Topic.com, чтобы перевести их каталог иностранных телешоу на английский язык, – сказали братья Краковские.
Производители отмечают, что пандемия навсегда изменила то, как люди по всему миру потребляют контент, будь то развлекательный контент с помощью одного из многих потоковых сервисов и платформ или через платформы электронного обучения, подкасты и аудиокниги.
Это приводит к тому, что аудитория все больше знакомится с контентом, не сделанным на их языке. [Deepdub] начал 2021 с семью сотрудниками, а в начале 2022 увеличился до более 30 сотрудников. Мы ожидаем удвоить этот размер до конца года, – подытожил Краковски.
Читайте также:
Google и Facebook оказались в эпицентре нового скандала во Франции
Facebook оказался в центре скандала после унижения темнокожих людей
Instagram провоцирует психические расстройства у подростков — закрытые исследования Facebook
