NVIDIA открыла Audio2Face по лицензии MIT: технология создает 3D-анимацию лица в реальном времени

NVIDIA объявила, что ее технология Audio2Face теперь доступна разработчикам игр по лицензии с открытым кодом.

С помощью искусственного интеллекта этот инструмент создает анимацию лица в реальном времени, включая и синхронизацию губ на основе аудиосигнала. Анализируя фонемы, интонацию и эмоциональный тон, Audio2Face генерирует данные для 3D-персонажей, чтобы сделать мимику более выразительной и реалистичной.

Модель уже имеет поддержку плагинов Autodesk Maya и Unreal Engine 5. NVIDIA также выпускает SDK, учебную платформу и примеры наборов данных. Разработчики смогут точно настраивать имеющиеся модели или адаптировать их для собственных проектов. Доступные модели включают как регрессионные, так и диффузионные варианты для синхронизации губ, а также сеть Audio2Emotion, которая изучает воспроизведение эмоций по голосу.

Более того, разработчики игр уже используют эту технологию. Среди партнеров NVIDIA — Codemasters, GSC Game World, NetEase, Perfect World, Convai, Inworld AI, Reallusion, Streamlabs и UneeQ. Способность системы обходить процесс традиционного захвата делает ее привлекательным вариантом для студий, которые нуждаются в более быстром производственном процессе.

NVIDIA описывает Audio2Face как часть более широкого набора инструментов RTX Kit на базе искусственного интеллекта для разработчиков, который также включает SDK нейронного сжатия текстур и глобального освещения. Выпуская его по открытой лицензии, компания приглашает разработчиков, исследователей и студентов адаптировать и расширить технологию для более широкого круга приложений, не только для игр.