Com la teoria de Ninja fa la cinemàtica de la "espasa blava" en temps real

Ninja Theory està portant una tecnologia relativament sense precedents al seu pròxim videojoc Hellblade: el sacrifici de Senua: La possibilitat de gravar, representar i editar escenes del joc en minuts en lloc de dies.

Com és la tradició amb Ninja Theory, Hellblade no és un èxit típic: segueix el viatge de Senua, un guerrer celta que lluita contra les malalties mentals. Tenint en compte l’interès de l’estudi a fer històries més petites, dirigides per personatges en jocs com Esclau i DmC (fins i tot a una escala semblant a la triple-A), l'ús de la tecnologia per augmentar el rendiment emocional sembla una progressió natural.

La tecnologia mateixa, que Ninja Theory està anomenant "cinematografia en temps real" després d'una demostració recent presentada a la conferència SIGGRAPH de VFX, captura essencialment la interpretació d'un actor en temps real en temps real, ja que seria transferit el renderitzat. dades a Sequencer, una nova eina d’Adobe Premiere per Unreal Engine 4.

A partir d’aquest moment, les dades de rendiment acabades de capturar, les animacions facials gravades, la veu i el moviment, es poden manipular de diverses maneres com si es tractés d’un segment de pel·lícula lineal, només els desenvolupadors poden ajustar, modificar o editar coses com il·luminació o angles de càmera sobre la marxa. (Atès que les dades són en temps real, fins i tot és possible canviar totalment o afegir noves càmeres a una escena).

Per al cofundador i director creatiu principal de Ninja Theory, Tameem Antoniades, el rodatge de tot allò que fa a casa usant la tecnologia fa la diferència.

"Podem saltar i rodar escenes quan els necessitem. No hem de fer-ho tot en un rodatge de quatre setmanes ", diu Antoniades sobre el mètode antic de l’estudi. Anteriorment, es tractava de reservar un bloc de temps en un estudi de captura de mottion per capturar les actuacions d'un joc alhora. "Hem hagut de disparar tot per al joc, i després construir el joc al voltant del que vam fer."

Les femelles i els forrellats tècnics són complexos i sorprenents. A part de treballar amb Epic, que ajuda a donar suport al seqüenciador i al propi Unreal, la tecnologia de captura facial que s’utilitza prové d’una empresa de programari mo-cap independent, Cubic Motion, mentre que l’estudi de rendiment facial amb seu a Sèrbia 3Lateral es va ajudar a crear caps virtuals realistes, i això és només un parell de col·laboradors externs de Ninja.

El middleware de captura facial de Cubic Motion i les dades capturades de 3Lateral, que van obligar a l’actriu Melina Juergens a viatjar a Novi Sad a escanejar-se la cara de diverses maneres, s’utilitzen com a fonament digital per capturar amb precisió qualsevol rendiment en temps real. (Afortunadament, Juergens és l’editor de vídeo de Ninja Theory, per la qual cosa la seva disponibilitat per escenes de rodatge no és un problema).

Però Hellblade es va iniciar a partir d’un desig de fer que alguna cosa fos completament independent d’una escala triple-A, i que es fes de la manera més eficient i econòmica possible. Fins ara, el seu treball parla per si mateix, i és una cosa sorprenentment construït per un mer equip de 16 persones.

Antoniades diu que és una producció relativament compacta, amb un enfocament fort en un sol caràcter, que ho fa possible.

"Hem construït un espai de captura de rendiment que podia fer el tipus de coses que vam fer abans, però el vam construir probablement per entre 20.000 i 30.000 dòlars. Què és super, molt barat en comparació amb el tipus de configuracions amb les quals estaven treballant ", diu. "Tot i que sembla que és ultra alta tecnologia, ultra cara, no ho és: és només una manera més eficient de disparar, amb l'esperit de tota la resta".

Per ajudar a mantenir l'estudi a trencar el banc, alguns socis els van prestar equipament i van proporcionar coneixements tècnics, mentre que Antoniades i l'equip van fer un esforç conscient per mantenir els costos de l'equip el més baix possible. L’ús de nou càmeres de mo-cap en un espai de tres a tres metres, molt més petit que les configuracions de vint per vint metres d’un estudi principal, va ser de gran ajuda.

"Hi ha molts compromisos", diu Antoniades. “Els nostres aparells per muntar les càmeres que vam comprar a IKEA. Són pernils d’armari. La il·luminació que necessitàvem: són llums d'oficina que hem comprat a Amazon. Acabem de prendre la solució més barata possible en cada moment per poder capturar un personatge."

L’obertura de l’estudi sobre el desenvolupament és la que va fer que el cap de tecnologia de Kim Epic, Kim Libreri, li preguntés a Antoniades si Ninja Theory volia fer un aparador en viu amb l’actriu de Senua a GDC al març; quan això va resultar ser un èxit, l'equip va treballar amb els seus socis per disparar i representar una escena sencera en set minuts per a una presentació de SIGGRAPH al juny, utilitzant Sequencer per transferir dades de màxim nivell a Unreal Engine.

A diferència de la demostració GDC més despullada, la presentació de SIGGRAPH (que van actuar davant d’un públic de 2.500 professionals de la indústria VFX) va mostrar a Senua parlant amb un doppelganger, amb Antoniades disparant a les dues parts de Juergens amb el cap que passaven. Després de capturar el doppelganger, Ninja Theory va tenir ajuda de Epic, Cubic Motion i 3Lateral a l'escenari per assegurar-se que les dades estaven sent capturades correctament i posteriorment a la interfície de Sequencer.

Finalment, les dades es van reproduir mentre Antoniades filmava Juergens una segona vegada, ara jugant el veritable Senua, contra la seva primera actuació, capturant al mateix temps el moviment i el focus de la càmera. Per la seva actuació, Ninja Theory va rebre el millor premi de gràfics i interactivitat de SIGGRAPH en temps real.

El que fa que la tecnologia sigui tan giradora de capçalera és que ni tan sols els millors estudis de producció de cinema produeixen visuals tan a prop de l'art final com aquest. En canvi, utilitzen un procés anomenat pre-visualització, que funciona com un esquema animat en temps real, utilitzant la geometria de renderitzat bàsica per mesurar el bloqueig i l'acció d'una escena. Passar de la preestesa aproximada a la imatge final sol ser una qüestió de mesos i manca de detalls, sobretot per la seva absència de captura facial.

"Si poguéssiu veure un personatge en directe, imagineu-vos totes les coses que podeu fer amb això", diu Antoniades. "Amb SIGGRAPH pensàvem que" tenim l'oportunitat aquí de fer alguna cosa que ni tan sols podeu fer en jocs de pel·lícules. Els estudis de cinema amb milions de dòlars no tenen aquesta tecnologia ".

També és un benefici per a la velocitat global del desenvolupament.

"Com que tenim la nostra pròpia configuració aquí, podem saltar i rodar escenes quan els necessitem", diu. "El fem de forma més orgànica, igual que els nivells de construcció, podem saltar i disparar les escenes per a aquests nivells, o si necessitem escenes addicionals, saltar-les i disparar-les. Encara està en línia amb la narrativa i la història, només fa que l’escena sigui una mica més freda, de manera que podem tirar trucs amb les múltiples versions de Senua que, d’altra manera, no tindríem ”.

Mentre que Antoniades diu que la naturalesa de la tecnologia en temps real probablement no tindrà un efecte notori ni en la història ni en la reproducció del joc (a part de les pel·lícules més experimentals), és optimista que es pot aplicar a nous tipus d’experiència i entreteniment. en un futur proper, especialment en la realitat virtual.

"Imagina els personatges es tornen a cara i es miren amb tu o caminen amb tu o interactuen amb tu", diu. "Crec que això donarà lloc a un tipus d’entreteniment diferent del que no tenim nom, ni tan sols tenim la gramàtica com ho fem amb el cinema i els videojocs".

El que podria passar més aviat és una cosa com el xat Twitch on la gent podia parlar amb Senua a si mateixa en temps real, cosa que els fans podrien veure en els pròxims mesos. Aprofitant la VR, els concerts i altres aplicacions que no són de joc també són possibles.

"Ser capaç d’instal·lar ubicacions, actors, disparar coses en viu i, a continuació, perquè és tot el temps real, podeu fer-ho tot interactiu sobre el terreny, provar diferents escenaris", diu Antoniades. "Hi ha possibilitats en un futur pròxim que ni tan sols seria possible l’any passat".

Amb Hellblade sent només un dels diversos projectes en joc i fora de joc que Ninja Theory està treballant, esperem que sigui un bon punt de salt per veure com poden evolucionar les coses des d’aquí.

"Penso que serà bo per als jugadors, perquè obtindran projectes més interessants", diu. "I també serà bo per als desenvolupadors. Crec que la indústria canvia per millor, sempre que tots aconseguim penjar-nos-hi i puguin sobreviure una mica més."