Microsoft представила нейросеть VASA, оживляющую фотографии с удивительной реалистичностью

Microsoft представила нейросетевую модель VASA, которая может «оживлять» фотографии в очень реалистичном виде. То есть вы загружаете портретное фото и звуковую дорожку, а получаете видео говорящего лица с точной синхронизацией губ со звуком, естественной мимикой и реалистичными движениями головы. Генерацию можно даже контролировать, задавая эмоцию, расстояние от камеры, направление взгляда и т.д. Сейчас VASA в закрытом тестировании, позже выпустят для всех желающих. Становится всё сложение различать, что реально, а что – нет

Microsoft продемонстрировала эффективность новой нейросети с помощью Моны Лизы, исполняющей рэп. Искусственный интеллект VASA-1 умеет оживлять фотографии и картины. Подробности читайте на «Снобе». Видео: Microsoft

Он это я, только другой Microsoft анонсировали убийцу Heygen — нейронка VASA-1 может реалистично анимировать фотографии. Закидываете лицо человека и аудио, а на выходе получаете анимированный портрет с липсинком, правдоподобными эмоциями и жестами! Причём, всё это можно контролировать.

Microsoft запустила нейросеть VASA, способную "оживлять" фотографии и виртуальных персонажей VASA создает видео говорящих лиц с широким спектром эмоций и естественными движениями Технология поддерживает онлайн-генерацию видео с разрешением 512x512 до 40fps VASA обладает реалистичностью, контролируемостью генерации и способностью обрабатывать разнообразные данные Microsoft осознает риски и пока не планирует выпускать продукт, API или онлайн-демо ‍

Microsoft показала новую нейросеть VASA-1, которая может из одной фотографии и звуковой дорожки создать реалистичное видео с человеком в 512х512 при 45 кадрах в секунду. VASA-1 достигает реализма за счет распознавания черт лица и трехмерного положения головы. Мой Компьютер

Microsoft представила нейросеть VASA-1 Она может «оживить» фотографию: для создания видео понадобится снимок человек и заранее записанная аудиодорожка. Помимо фотоснимков, нейросеть может обрабатывать нарисованные портреты в любом художественном стиле. Например, VASA-1 сможет «оживить» Мону Лизу — в примере от Microsoft она исполняет рэп. При этом инженеры корпорации решили пока не открывать доступ к нейросети. Они боятся, что VASA-1 будут использовать для создания фейков со знаменитостями. ℹ Месяц назад Google представила аналогичную нейросеть Vlogger AI. Она может синхронизировать движение губ, добавлять моргание глаз и жестикуляцию.

Пугающе реалистично: Microsoft представила нейросеть, оживляющую фото — VASA-1 Всё, что ей нужно — снимок лица и аудиодорожка с голосом. VASA очень точно синхронизирует губы с речью, а также создаёт естественные мимику и движения головы. Полученную генерацию можно изменить — выбрать настроение, поменять расстояние до камеры и настроить направление взгляда. Сейчас VASA в закрытом тестировании, когда её релизнут публично — неизвестно. Количество фейков после её выхода

Пугающе реалистично: Microsoft представила нейросеть, оживляющую фото — VASA-1 Всё, что ей нужно — снимок лица и аудиодорожка с голосом. VASA очень точно синхронизирует губы с речью, а также создаёт естественные мимику и движения головы. Полученную генерацию можно изменить — выбрать настроение, поменять расстояние до камеры и настроить направление взгляда. Сейчас VASA в закрытом тестировании, когда её релизнут публично — неизвестно. Количество фейков после её выхода

У Microsoft вышла VASA-1, которая очень реалистично оживляет фотографии Становится все сложнее различать, что реально, а что нет: в VASA можно контролировать эмоции, направление взгляда и даже расстояние до камеры, а синхронизация губ просто поражает. И кроме того, сила VASA в том, что она может поддерживать онлайн-генерацию видео 512х512 со скоростью до 40 кадров в секунду. До этого такой скорости мы еще не видели. Под капотом, что интересно, не прямая генерация видеокадров, а генерация динамики лица и движения головы в латентном пространстве на основе звуковой дорожки тут работает диффузионный трансформер . На это пространство затем навешивается декодер. Декодер, кроме кодов из пространства, принимает также фичи лица, которые вытаскивает энкодер из фото, а на выходе из декодера мы уже получаем реалистичное видео. Больше интересных примеров можно найти в блогпосте. Больше про архитектуру – в статье.

Microsoft показали новую нейросеть для создания дипфейков под названием "VASA-1", которая оживляет картинки и озвучивает их ИИ-голосом. Для создания "живых аватаров" на видео VASA-1 нужны только одна фотография и аудио с голосом. Якобы нейронка должна использоваться в будущем только для благородных целей. Технология не направлена на создание контента, используемого для введения в заблуждение или обмана. Мы не планируем выпускать онлайн-демо, API, продукт, рассказывать дополнительные детали, пока не убедимся, что технология будет использоваться ответственно и в соответствии с надлежащими правилами.