NVIDIA открывает исходный код Audio2Face для разработчиков

NVIDIA открыла исходный код нейросети Audio2Face позволяющей создавать реалистичные анимации лиц NVIDIA анонсировала генеративную нейросеть Audio2Face еще несколько лет назад Она позволяет создавать реалистичные анимации лиц персонажей на основе заранее записанной аудиодорожки До недавнего времени технология была доступна лишь нескольким избранным компаниям из числа партнеров NVIDIA

Nvidia представила Audio2Face новый инструмент для речевой анимации персонажей Nvidia анонсировала открытие своего инструмента Audio2Face под лицензией MIT который использует генеративный ИИ для анимации лиц игровых персонажей Он анализирует звук речи учитывая фонемы интонацию и эмоциональный тон генерируя данные для более выразительного поведения персонажей Инструмент интегрируется с Autodesk Maya и Unreal Engine 5 предоставляя разработчикам возможность настраивать модели под свои проекты Технология уже применяется в разработке игр таких как Chernobylite 2 Exclusion Zone упрощая анимацию и улучшая артикуляцию Audio2Face также часть набора ИИ инструментов RTX Kit который включает SDK для различных приложений Для подробностей можно ознакомиться с оригинальной статьей здесь Unlim AI

NVIDIA открыла исходный код Audio2Face Audio2Face ИИ инструмент для дегенерации анимации лиц и синхронизации губ по голосу Теперь разработчики игр и 3D контента могут свободно использовать его под лицензией MIT В открытый пакет входят SDK плагины для UE 5 и Maya а также модели Regression v2 2 и Diffusion v3 0 Они преобразовывают речь в движения лица Дополнительно доступны фреймворк для обучения примерные датасеты и отдельные модели Audio2Emotion распознающие эмоциональное состояние по голосу Nvidia Audio2Face ИИ Подписывайтесь на ARCHiTECH Чат

NVIDIA открыла код технологии Audio2Face для синхронизации анимации лиц и губ со звуком Компания NVIDIA объявила что её технология Audio2Face теперь доступна по лицензии MIT с открытым исходным кодом Этот инструмент входящий в портфолио генеративного ИИ компании предназначен для синхронизации анимации лиц и губ со звуком в реальном времени Анализируя фонемы интонацию и эмоциональный тон Audio2Face генерирует потоки данных которые можно применять к 3D моделям персонажей делая их более выразительными и реалистичными Модель уже поддерживается плагинами для Autodesk Maya и Unreal Engine 5 кроме этого NVIDIA выпускает SDK фреймворк для обучения и примеры наборов данных Разработчики смогут дорабатывать существующие модели или адаптировать их для своих проектов расширяя возможности Audio2Face за пределы текущих интеграций Доступные модели включают регрессионный и диффузионный варианты для синхронизации губ а также сети Audio2Emotion которые распознают эмоциональное состояние по голосу Разработчики игр уже применяют эту технологию При необходимости система может заменить традиционные методы захвата движения что делает её привлекательным вариантом для небольших студий и ускорения производственного процесса NVIDIA описывает Audio2Face как часть своего расширенного набора инструментов RTX для разработчиков на базе искусственного интеллекта который также включает в себя SDK для нейронной компрессии текстур и глобального освещения Выпуская Audio2Face с открытой лицензией компания позволяет сообществу адаптировать и расширять возможности технологии для более широкого спектра приложений

NVIDIA открыла исходный код Audio2Face Audio2Face ИИ инструмент для генерации анимации лиц и синхронизации губ по голосу Теперь разработчики игр и 3D контента могут свободно использовать его под лицензией MIT В открытый пакет входят SDK с документацией плагины для Unreal Engine 5 и Maya а также модели Regression v2 2 и Diffusion v3 0 Они позволяют в реальном времени или офлайн преобразовывать речь в движения лица Дополнительно доступны фреймворк для обучения примерные датасеты и отдельные модели Audio2Emotion распознающие эмоциональное состояние по голосу NVIDIA рассчитывает что сообщество будет развивать проект делая технологию доступнее для игр виртуальных персонажей и медиа платформ Это важный шаг к тому чтобы качественная анимация лиц на основе ИИ стала массовым инструментом в индустрии

Реалистичность игр выходит на новый уровень NVIDIA предоставила разработчикам бесплатный инструмент NVIDIA сделала шаг к массовому внедрению технологий ИИ открыв доступ к Audio2Face в формате open source Для разработчиков игр и анимации это прорыв инструмент позволяет создавать реалистичную мимику персонажей на основе звука