Das Unreal Fest Seattle 2024 hat begonnen und mit ihm folgt die Ankündigung von NVIDIA über die Einführung neuer On-Device-Plugins für NVIDIA ACE in der Unreal Engine 5. Diese Neuerungen zielen darauf ab, die Erstellung und den Einsatz von AI-gesteuerten MetaHuman-Charakteren auf Windows-PCs zu vereinfachen.

NVIDIA hat verschiedene Plugins vorgestellt, die die Funktionalität von Unreal Engine 5 erweitern: Das Audio2Face-3D Plugin ermöglicht AI-gesteuerte Lippensynchronisation und Gesichtsanimationen direkt in der Unreal Engine 5 und Autodesk Maya. Dieses Plugin beinhaltet auch den Quellcode zur Integration in andere digitale Content-Erstellungstools und optimiert den Workflow zwischen Maya und Unreal Engine 5.

Das Nemotron-Mini 4B Instruct Plugin und das Retrieval Augmented Generation (RAG) Plugin verbessern die Interaktion mit und zwischen AI-gesteuerten Charakteren, indem sie die Generierung von Dialogen und das Liefern von kontextbezogenen Informationen ermöglichen.

Darüber hinaus hat NVIDIA den Unreal Engine 5 Renderer Microservice mit Pixel Streaming eingeführt, der die Unreal Pixel Streaming-Technologie von Epic verwendet und jetzt den NVIDIA ACE Animation Graph Microservice sowie Linux OS im Early Access unterstützt. Dieser Service erlaubt es Entwicklern, MetaHuman-Charaktere mit hoher Wiedergabetreue über Web Real-Time Communication (WebRTC) auf alle Endgeräte zu übertragen.

Für Entwickler bieten diese Tools erhebliche Vorteile, wie die Vereinfachung der Integration von AI-gesteuerten digitalen Personen in Spiele und Applikationen, optimierte Microservices für geringe Latenzen und minimalen Speicherbedarf auf Windows-PCs, sowie verbesserte Skalierbarkeit für die Cloud-basierte Implementierung digitaler Menschen. Zudem stehen anpassbare Tools und der Quellcode für individuelle Entwicklungsbedürfnisse zur Verfügung.

Interessierte Entwickler haben die Möglichkeit, frühzeitigen Zugang zu beantragen, um den Unreal Engine 5 Renderer Microservice mit Unterstützung für den Animation Graph Microservice und Linux OS herunterzuladen. Das Maya ACE-Plugin ist auf „GitHub“ zum Download verfügbar.