NVIDIA открывает исходный код Audio2Face для разработчиков

NVIDIA открыла исходный код нейросети Audio2Face позволяющей создавать реалистичные анимации лиц NVIDIA анонсировала генеративную нейросеть Audio2Face еще несколько лет назад Она позволяет создавать реалистичные анимации лиц персонажей на основе заранее записанной аудиодорожки До недавнего времени технология была доступна лишь нескольким избранным компаниям из числа партнеров NVIDIA

NVIDIA открыла исходный код Audio2Face Audio2Face ИИ инструмент для генерации анимации лиц и синхронизации губ по голосу Теперь разработчики игр и 3D контента могут свободно использовать его под лицензией MIT В открытый пакет входят SDK с документацией плагины для Unreal Engine 5 и Maya а также модели Regression v2 2 и Diffusion v3 0 Они позволяют в реальном времени или офлайн преобразовывать речь в движения лица Дополнительно доступны фреймворк для обучения примерные датасеты и отдельные модели Audio2Emotion распознающие эмоциональное состояние по голосу NVIDIA рассчитывает что сообщество будет развивать проект делая технологию доступнее для игр виртуальных персонажей и медиа платформ Это важный шаг к тому чтобы качественная анимация лиц на основе ИИ стала массовым инструментом в индустрии

Реалистичность игр выходит на новый уровень NVIDIA предоставила разработчикам бесплатный инструмент NVIDIA сделала шаг к массовому внедрению технологий ИИ открыв доступ к Audio2Face в формате open source Для разработчиков игр и анимации это прорыв инструмент позволяет создавать реалистичную мимику персонажей на основе звука

Технология NVIDIA Audio2Face стала доступной каждому благодаря открытому исходному коду Технологический гигант NVIDIA сделал доступным открытый исходный код своей технологии Audio2Face позволяющей создавать реалистичную анимацию лица и движений губ на основе аудиозаписи render ru ru news post 27297

Nvidia открыла исходный код Audio2Face Nvidia опубликовала открытый код Audio2Face ИИ технологии которая превращает речь в реалистичную анимацию лица Система анализирует фонемы и интонации генерируя данные для синхронной мимики как в офлайн роликах так и в реальном времени Вместе с движком компания выложила и фреймворк для дообучения моделей под конкретные задачи Это упрощает создание ИИ аватаров для игр медиа и сервисов поддержки клиентов Audio2Face уже используют Reallusion Inworld AI NetEase и другие студии а Nvidia приглашает всех желающих присоединиться к сообществу в Discord Технология входит в платформу ACE и хотя формально работает на любом железе оптимизирована под видеокарты Nvidia новости ИИ pcTeapot

NVIDIA открыла код технологии Audio2Face для синхронизации анимации лиц и губ со звуком Компания NVIDIA объявила что её технология Audio2Face теперь доступна по лицензии MIT с открытым исходным кодом Этот инструмент входящий в портфолио генеративного ИИ компании предназначен для синхронизации анимации лиц и губ со звуком в реальном времени Анализируя фонемы интонацию и эмоциональный тон Audio2Face генерирует потоки данных которые можно применять к 3D моделям персонажей делая их более выразительными и реалистичными Модель уже поддерживается плагинами для Autodesk Maya и Unreal Engine 5 кроме этого NVIDIA выпускает SDK фреймворк для обучения и примеры наборов данных Разработчики смогут дорабатывать существующие модели или адаптировать их для своих проектов расширяя возможности Audio2Face за пределы текущих интеграций Доступные модели включают регрессионный и диффузионный варианты для синхронизации губ а также сети Audio2Emotion которые распознают эмоциональное состояние по голосу Разработчики игр уже применяют эту технологию При необходимости система может заменить традиционные методы захвата движения что делает её привлекательным вариантом для небольших студий и ускорения производственного процесса NVIDIA описывает Audio2Face как часть своего расширенного набора инструментов RTX для разработчиков на базе искусственного интеллекта который также включает в себя SDK для нейронной компрессии текстур и глобального освещения Выпуская Audio2Face с открытой лицензией компания позволяет сообществу адаптировать и расширять возможности технологии для более широкого спектра приложений

NVIDIA открыла исходный код Audio2Face Audio2Face ИИ инструмент для дегенерации анимации лиц и синхронизации губ по голосу Теперь разработчики игр и 3D контента могут свободно использовать его под лицензией MIT В открытый пакет входят SDK плагины для UE 5 и Maya а также модели Regression v2 2 и Diffusion v3 0 Они преобразовывают речь в движения лица Дополнительно доступны фреймворк для обучения примерные датасеты и отдельные модели Audio2Emotion распознающие эмоциональное состояние по голосу Nvidia Audio2Face ИИ Подписывайтесь на ARCHiTECH Чат

Новая функция от NVIDIA Audio2Face превращает речь в реалистичную анимацию лица Версия 3 0 точнее распознаёт эмоции и создаёт естественные движения губ Разработчики могут бесплатно использовать инструменты и плагины для Maya и Unreal Engine 5 ИгроNews