Cum teoria Ninja face "cinematica Hellblade" în timp real

Teoria ninja aduce ceva tehnologie relativ fără precedent jocului lor video viitoare Hellblade: Sacrificiul lui Senua: Abilitatea de a fotografia, de a face și de a edita scene pentru joc în câteva minute în loc de zile.

După cum este tradiția cu teoria Ninja, Hellblade nu este un blockbuster tipic - urmează călătoria lui Senua, un luptător celtic care luptă împotriva bolii psihice. Având în vedere interesul studioului de a face povestiri mai mici, personalizate, în jocuri precum Enslaved și dmc (chiar și pe o scară asemănătoare celei triple-A), folosind tehnologia pentru a continua o performanță emoțională, pare o progresie naturală.

Tehnologia în sine, pe care Teoria Ninja o numește "cinematografie în timp real", după o demonstrație recentă prezentată la conferința SIGGRAPH a VFX, captează, în esență, performanța unui actor de vârf în timp real, așa cum ar fi într-un set de film, date în Sequencer, un nou instrument Adobe Premiere pentru Unreal Engine 4.

De aici, datele de performanță capturate - înregistrate animații faciale, voce și mișcări - pot fi manipulate în mai multe moduri, cum ar fi un segment liniar de film, numai dezvoltatorii sunt liberi să adapteze, să optimizeze sau să editeze lucruri precum iluminare sau unghiuri de cameră în zbor. (Deoarece datele sunt în timp real, este posibil chiar să se schimbe în întregime sau să se adauge noi camere la o scenă.)

Pentru co-fondatorul și directorul creativ al filmei Ninja Tameem Antoniades, împușcarea tot ceea ce in-house folosind tehnologia face diferența.

"Putem să sarăm și să tragem scene când avem nevoie de ele. Nu trebuie să facem totul într-un film de patru săptămâni ", spune Antoniades despre metoda veche a studioului. Acesta a implicat anterior rezervarea unui bloc de timp la un studio de captură de motoare pentru a capta performanțele unui joc la un moment dat. "A trebuit să tragem totul pentru joc acolo și apoi să construim jocul în jurul a ceea ce am împușcat".

Șuruburile și șuruburile tehnice nu sunt surprinzător de complexe și implică o mulțime de mâini. Pe lângă colaborarea cu Epic, care oferă ajutor pentru Sequencer și Unreal în sine, tehnologia de captură a feței utilizată provine de la o companie separată de software mo-cap, Cubic Motion, în timp ce studioul de performanță facială din Serbia 3Lateral a fost adus pentru a ajuta la crearea realiste capete virtuale - și asta sunt doar câțiva colaboratori externi ai Ninja.

Cubic Motion a captat un soft middleware și datele 3Lateral - care i-au cerut actritei Melina Juergens să călătorească în Novi Sad pentru a-și face fața scanată într-o varietate de moduri - sunt folosite ca fundație digitală pentru a capta cu exactitate orice performanță în timp real. (Din fericire, Juergens este editorul video al teoriei Ninja, astfel încât disponibilitatea ei pentru scenele de filmare nu este o problemă.)

Dar Hellblade a fost pornit de la dorința de a face ceva complet independent pe o scară triplă-A și făcut cât mai eficient și mai ieftin posibil. Până acum, lucrarea lor vorbește de la sine și este un fel de uimitor construit de o echipă de 16 persoane.

Antoniades spune că producția relativ compactă, cu un accent puternic pe un singur caracter, face posibilă deloc.

"Am construit un spațiu de captare a performanțelor care ar putea face acele lucruri pe care le-am făcut înainte, dar l-am construit pentru probabil ca 20.000 până la 30.000 $. Care este super, super ieftin în comparație cu tipul de setări cu care lucrăm ", spune el. "Chiar daca simti ca este ultra-high-tech, extrem de scumpa, nu-i asa - este doar o modalitate mai eficienta de a trage, in spiritul oricarui altceva".

Pentru a ajuta studioul să nu spargă banca, unii parteneri le-au împrumutat echipamente și au oferit expertiză tehnică, în timp ce Antoniades și echipa au făcut eforturi conștiente să păstreze costurile echipamentelor cât mai scăzute. Folosind nouă aparate de fotografiat mo-cap într-un spațiu de aproximativ trei până la trei metri, mult mai mic decât un studio de douăzeci-douăzeci de metri, a fost un mare ajutor.

"Există o mulțime de compromisuri pe care le-am făcut", spune Antoniades. "Echipamentul nostru de a monta camerele pe care le-am cumpărat de la IKEA. Sunt stalpi de garderobă. Lumina de care aveam nevoie - sunt lumini de birou pe care le-am cumpărat de pe Amazon. Tocmai am luat soluția cea mai ieftină la fiecare pas pentru a putea captura un singur personaj."

Deschiderea studioului cu privire la dezvoltare este ceea ce la condus pe seful tehnologiei Epic, Kim Libreri, să-l întrebe pe Antoniades dacă teoria Ninja dorea să facă o prezentare live cu actrița lui Senua la GDC în martie; când sa dovedit a fi un succes, echipa a lucrat împreună cu partenerii săi pentru a trage și a face o întreagă tăiere în șapte minute pentru o prezentare SIGGRAPH în luna iunie, folosind Sequencer pentru a transfera date mo-capped în Unreal Engine.

Spre deosebire de demo-ul GDC mai dezbrăcat, prezentarea SIGGRAPH (pe care au efectuat-o în fața unei audiențe de 2.500 de profesioniști din industria VFX) a arătat că Senua a vorbit cu un doppelganger, cu Antoniades împușcând ambele părți ale lui Juergens mo-capped așa cum s-au întâmplat. După ce a capturat doppelgangerul, Teoria Ninja a avut ajutor de la Epic, Cubic Motion și 3Lateral pe scenă pentru a se asigura că datele au fost capturate corespunzător și ulterior au fost introduse în interfața de editare video a lui Sequencer.

În cele din urmă, datele au fost apoi reluate, în timp ce Antoniades a filmat Juergens a doua oară, jucând acum realul Senua, împotriva primei sale interpretări - capturând în același timp mișcarea și focalizarea camerei în sine. Pentru performanța lor, teoria Ninja a primit premiul SIGGRAPH pentru grafica și interactivitate în timp real.

Ceea ce face ca tehnologia să se transforme în cap este că nici măcar cele mai bune studiouri din cinematografie nu produc în prezent imagini atât de apropiate de arta finală ca aceasta. În schimb, ei folosesc un proces numit pre-vizualizare, care funcționează puțin ca un contur animat în timp real, folosind geometria de bază redată pentru a măsura blocarea și acțiunea unei scene. Pentru a trece de la pre-vis până la imaginea finală durează de obicei o lună de luni și nu are detalii, în special datorită absenței capturii faciale.

"Dacă ați putea vedea un personaj live, imaginați-vă toate lucrurile pe care le puteți face cu asta", spune Antoniades. "Cu SIGGRAPH ne-am gândit," avem o șansă aici să facem ceva ce nu se poate face chiar și pe seturi de film. "Studiourile de film cu milioane de dolari nu au această tehnologie.

Este un beneficiu și pentru viteza generală de dezvoltare.

"Pentru că avem propriul nostru setat aici, putem să intrăm și să filmăm scenele așa cum le avem", spune el. "Noi o facem mai organic - ca și nivelurile de construcție, putem să sarăm și să tragem scene pentru acele nivele sau dacă avem nevoie de scene suplimentare, să sară și să le împușcăm. Încă este în concordanță cu povestea și cu povestea, tocmai a făcut scena un pic mai rece, așa că putem trage trucuri cu versiunile multiple ale lui Senua pe care altfel nu le-am fi avut ".

În timp ce Antoniades spune că natura tehnologiei în timp real nu va avea un efect vizibil nici asupra povestirii, nici asupra jocului (cu excepția unor cutscene mai experimentale), el este optimist că poate fi aplicat noilor tipuri de experiențe și divertisment în viitorul apropiat, în special în realitatea virtuală.

"Imaginează-ți că personajele se întorc și te înfruntă sau merg cu tine sau interacționează cu tine", spune el. "Cred că acest lucru va duce la un alt tip de divertisment pentru care nu avem un nume, nu avem chiar gramatica ca și noi cu jocurile video și video".

Ceea ce s-ar putea întâmpla mai devreme este ceva de genul chatului de la Twitch unde oamenii ar putea vorbi cu Senua în timp real - ceva ce fani ar putea vedea în lunile următoare. Profitând de VR, concerte și alte aplicații non-jocuri sunt, de asemenea, posibile.

"Fiind capabil să înființeze locații, actori, să tragă lucrurile în direct și apoi, pentru că e tot timpul real, poți să faci totul interactiv pe loc, să încerci diferite scenarii", spune Antoniades. "În viitorul apropiat, există posibilități care nu ar fi posibile nici anul trecut".

Cu Hellblade fiind doar unul din mai multe proiecte în și în afara jocurilor propriu-zise pe care teoria Ninja lucrează, se va dovedi, sperăm, un bun salt să vezi cum pot evolua lucrurile de aici.

"Cred că va fi bun pentru jucători, pentru că ei vor primi proiecte mai interesante", spune el. "Și va fi bine și pentru dezvoltatori. Cred că industria se schimbă în bine, atâta timp cât reușim să rămânem acolo și să supraviețuim doar puțin mai mult ".