V předvečer letošního Computexu nás Nvidia pohostila s ukázkou další možné aplikace generativní AI ve videohrách. Představte si, že si můžete večer po práci dopisovat s botem v novém Bingu nebo s Bardem a ChatGPT. Nyní se zdá, že takový koncept může být aplikován i na herní postavy.
Nvidia Ukazuje Cestu
Nvidia představila demo, kde jsme byli svědky AI v akci v kyberpunkovém prostředí. Využití technologií ACE (Avatar Cloud Engine) a Convai umožnilo unikátní konverzační zážitek, který byl doposud nevídaný ve světě videoher.
ACE a Convai: Kombinace pro Budoucnost
Technologie ACE zajišťuje převod hlasu na text a zpět, zatímco Convai se stará o konverzační stránku věci. Díky nim můžete komunikovat s herními postavami stejně snadno, jako když si píšete s botem na chatu.
Herní Postavy Budoucnosti
Podle Nvidie jsou takovéto konverzační AI budoucností videoher. Místo dopředu připravených a poměrně strojených dialogů s herními postavami budeme mít možnost vést přirozenou a mnohem volnější debatu s generativní AI. Tato AI, stejně jako člověk, prozradí herní nápovědu pouze tehdy, pokud se správně zeptáme.
Znamená to, že konverzace bude mnohem realističtější a doplní už tak fotorealistickou grafiku. Když budete chtít od barmana zjístit něco důležitého pro hru, budete se s ním muset bavit stejným způsobem, jako byste zašli v pátek o půlnoci do baru a tahali tam informace od barmana.
Závěr
Tento pokrok v AI technologii otevírá nové možnosti pro vývoj videoher. Herní postavy se mohou stát mnohem více interaktivními a realističtějšími, což poskytuje hráčům hlubší a osobnější herní zážitek. Nvidia jasně ukazuje, že AI ve hrách je mnohem více než jen chatbot.
Omáčka
Jestliže vás fascinuje svět počítačových her, pak jste určitě slyšeli o nehratelných postavách, neboli NPC (Non-playable characters). Představte si, že by se tyto postavy dokázaly vyvíjet, učit se a mluvit s hráči stejně jako skuteční lidé. Díky pokrokům v oblasti generativní AI je tento scénář nyní reálný.
Generativní AI technologie mění způsob, jakým jsou hry koncipovány, produkovány a hrané. Vývojáři zkoumají, jak tyto technologie ovlivňují 2D a 3D tvůrčí procesy během produkce. Součástí tohoto vzrušení je schopnost vytvářet herní zážitky v reálném čase, které by byly s předchozími řešeními nemožné.
Na Computexu 2023 oznámila společnost NVIDIA budoucnost NPC s NVIDIA Avatar Cloud Engine (ACE) pro hry. NVIDIA ACE pro hry je služba pro vytváření vlastních AI modelů, která mají za cíl transformovat hry tím, že do NPC přináší inteligenci prostřednictvím AI řízených přirozených jazykových interakcí.
Optimalizované AI základní modely zahrnují následující:
NVIDIA NeMo: Poskytuje základní jazykové modely a nástroje pro přizpůsobení modelů, takže můžete dále ladit modely pro herní postavy. Modely mohou být integrovány v jakékoliv kombinaci, v závislosti na potřebě. Tento přizpůsobitelný velký jazykový model (LLM) umožňuje specifické postavy a osobnosti, které se hodí do světa hry.
NVIDIA Omniverse Audio2Face: Okamžitě vytváří výraznou animaci obličeje pro herní postavy pouze z audio zdroje. Audio2Face obsahuje konektory Omniverse pro Unreal Engine 5, takže můžete přidat animaci obličeje přímo do postav MetaHuman.
Tyto nástroje umožňují vývojářům oživit NPC pomocí technik zarovnání modelu NeMo. Prvním krokem je využití klonování chování, aby základní jazykový model mohl provádět úkoly podle instrukcí. Aby bylo chování NPC ještě více v souladu s očekáváními, lze v budoucnu použít výuku zpětnou vazbou z lidského hodnocení (RLHF) pro získání reálné zpětné vazby od designérů během vývojového procesu.
Po úplném zarovnání NPC se jako poslední krok aplikují NeMo Guardrails, což jsou programovatelná pravidla pro NPC. Tento toolkit vám pomůže vytvářet přesné, vhodné, na téma zaměřené a bezpečné herní postavy. NeMo Guardrails nativně podporuje LangChain, toolkit pro vývoj aplikací poháněných LLM.
NVIDIA nabízí flexibilní metody nasazení pro vývojáře middleware, nástrojů a her všech velikostí. Neuronové sítě umožňující NVIDIA ACE pro hry jsou optimalizovány pro různé schopnosti, s různými velikostmi, výkonností a obchodními kompromisy. Služba ACE pro hry vám pomůže jemně naladit modely pro vaše hry a poté je nasadit prostřednictvím NVIDIA DGX Cloud, GeForce RTX PC, nebo na místě pro real-time inferencing. Také můžete ověřovat kvalitu modelů v reálném čase a testovat výkon a latenci, aby jste se ujistili, že splňují konkrétní normy před nasazením.
Chcete-li ukázat, jak lze ACE pro hry využít k vytváření NPC, NVIDIA se spojila s Convai, startupem, který vytváří platformu pro vytváření a nasazování AI postav v hrách a virtuálních světech, aby pomohla optimalizovat a integrovat moduly ACE do jejich nabídky. Convai využil NVIDIA Riva pro převod řeči na text a textu na řeč, NVIDIA NeMo pro LLM, který řídí konverzaci, a Audio2Face pro AI řízenou animaci obličeje z hlasových vstupů.
Tyto moduly byly bezproblémově integrovány do platformy služeb Convai a přivedly do života poutavou NPC postavu Jin. Scéna v ramenové restauraci, vytvořená týmem NVIDIA Lightspeed Studios.
Zdroj: YouTube, nvidia.com