Теперь аватары могут петь, танцевать и передвигаться по комнате.
Стартап Synthesia , специализирующийся на создании гиперреалистичных аватаров с помощью искусственного интеллекта, готовится к очередному обновлению. Теперь аватары будут оснащены движущимися телами и жестикулирующими руками, что сделает их еще более реалистичными.
Полнотельные аватары смогут выполнять различные действия, такие как пение с микрофоном или передвижение по комнате, выходя из-за стола. Они смогут выражать более сложные эмоции, включая волнение, страх и нервозность, отмечает Виктор Рипарелли, генеральный директор компании Synthesia. Ожидается, что обновленные аватары будут представлены ближе к концу года.
Джек Сондерс, исследователь из Университета Бата, который не принимал участия в работе Synthesia, высоко оценил новые аватары. По его словам, несмотря на мелкие ошибки, такие как пересечение рук, общая реалистичность впечатляет. "Никто другой пока не способен на такое," — утверждает Сондерс.
Первая версия гиперреалистичных аватаров Synthesia была запущена в апреле. Эти аватары использовали крупные языковые модели для синхронизации мимики и тона голоса с текстом, а диффузионные модели создавали их внешний вид. Однако они показывались только от торса вверх, что несколько снижало реализм.
Для создания полнотелых аватаров Synthesia разрабатывает еще более мощную модель искусственного интеллекта. Пользователи должны будут записывать движения своих тел в студии.
До выхода полнотелых аватаров компания запустит обновленную версию AI-аватаров, которые будут иметь руки и могут сниматься с разных углов. Ранее доступные только в портретном режиме, новые аватары будут выглядеть еще более реалистично. Конкуренты, такие как Hour One, уже запустили подобные аватары с руками, но версия Synthesia будет иметь более естественные движения рук и синхронизацию губ.
Новый процесс создания персонализированных аватаров значительно упрощен. Если ранее требовалось несколько часов записи в студии, то теперь все необходимое можно сделать за 10 минут с помощью цифровой камеры, петличного микрофона и ноутбука. Процесс также включает чтение сценария с выражением согласия на запись и генерацию случайного пароля безопасности.
Обновления позволяют масштабировать производство аватаров и дают моделям ИИ больше возможностей при меньшем количестве данных. Результаты становятся доступны значительно быстрее: если ранее на создание аватара уходило несколько недель, теперь это можно сделать за день.
Тем не менее, самодельные аватары пока не так выразительны, как студийные, и пользователи не могут менять их фоны. Руки анимируются с использованием продвинутой технологии зацикливания, что делает движения более естественными в зависимости от содержания сценария. Однако Викторио Феррари , директор по науке в Synthesia, подчеркивает, что руки сложно анимировать из-за их разнообразных движений.
Несмотря на все достижения, реалистичные аватары создают серьезные риски в эпоху глубоких фейков и онлайн-дезинформации. Synthesia придерживается строгих правил модерации контента, тщательно проверяя клиентов и тип создаваемого ими контента. Например, только аккредитованные новостные агентства могут генерировать новостной контент.
Эти технологические новшества вызывают обеспокоенность по поводу доверия к онлайн-контенту. Джек Сондерс предупреждает: "Люди должны понимать, что нельзя верить всему, что видишь. Сегодня этим занимается Synthesia, а через год другие компании будут делать то же самое и даже лучше."
На перекрестке науки и фантазии — наш канал
