În interiorul realității augmentate secrete și ale CGI din Pinscreen

Realitatea augmentată și schimbarea feței par a fi candidați fierbinți pentru următoarele aplicații mobile; doar uita-te la achiziționarea de Facebook de MSQRD sau achiziționarea Snapchat de Looksery. Dar un start AR numit Pinscreen, în prezent susținut în valoare de 1,8 milioane de dolari de la Lux Capital și Fondul Colopl VR, încearcă să facă lucrurile în mod diferit în acest domeniu. Invers a vorbit exclusiv cu fondatorul Pinscreen Hao Li despre ce ar putea fi înainte pentru această companie secretă.

S-ar putea să nu fi auzit despre Hao Li, dar probabil ați văzut cercetările asistentului USC în acțiune în câteva filme blockbuster. În timp ce lucra la studioul Industrial Light & Magic, Li a ajutat la dezvoltarea unor instrumente care să permită captarea performanțelor în timp real. Ideea era că un actor ar putea să stea în fața unui computer cu o cameră web, să acționeze într-o scenă și apoi acea performanță să fie tradusă - în timp real - unui personaj CG.

Li a efectuat cercetări ample în alte domenii, inclusiv în realizarea de modele 3D ale unor oameni reali în timp real și captarea de părți importante ale asemănării lor, în special fețele și părul. Cel mai recent, Li a prezentat cercetări pe care el și alții le condus în realizarea unui spectacol de la o persoană cu o singură cameră și traducerea la un caracter digital.

La început, acest lucru nu pare atât de romantic. Există deja o serie de soluții de urmărire a feței în dezvoltare, atât pentru aplicații mobile, cât și pentru sisteme mult mai sofisticate, cum ar fi Faceshift (achiziționat de Apple în 2015). Dar multe dintre acestea se bazează pe senzori de adâncime, pe care tehnologia lui Li nu le cere. Această abordare, spune el, este foarte diferită.

"Dacă aveți un senzor de adâncime, tot ce aveți nevoie este să optimizați parametrii modelului de față, astfel încât modelul să se potrivească cât mai aproape de intrarea 3D", explică Li. "Dar în cazul unei intrări pure RGB, întreaga lume este proiectată pe o imagine bidimensională fără parametrii cunoscuți ai camerei, cum ar fi lungimile focale. Deci, un model precis al feței 3D trebuie să fie dedus din această imagine proiectată și să fie capabil să se ocupe de o gamă largă de condiții de iluminare, precum și apariția unor subiecte diferite ".

Prin urmare, importanța cercetării lui Li asupra avatarurilor 3D. Când cartografiați fața unui om, o mulțime de programe de cartografiere au probleme în a face față obstacolelor vizuale precum părul și ochelarii. Pentru a evita această problemă, Pinscreen "a construit o rețea neuronală profundă convoluțională care poate învăța cum să segmentați o regiune a unei fețe într-o imagine complet necontenționată".

Deci, ceea ce este Pinscreen folosind această tehnologie nebun avansată pentru, oricum?

"Vom fi un nou tip de platformă de social media / comunicare cu câteva capabilități AR interesante", spune Li. "Nu va fi o aplicație ca lentilele Snapchat sau MSQRD, care este pentru majoritatea oamenilor interesantă doar câteva minute".

Deci, asta nu este mult mai mult decât buzzwords pentru acum. Dar, uitandu-se mai adanc, munca sa anterioara sugereaza ca ei spera sa isi dezvolte capacitatea de a urmari fata cuiva in ciuda parului, a paharelor sau a altor obiecte care obstructioneaza vederea camerei unice. Adăugați o realitate augmentată, iar cerul este limita pentru filme, medii sociale și jocuri.

Pare destul de bine, dar este important să rețineți că Li și echipa lui nu sunt singurii care cercetează în acest domeniu. Disney a prezentat recent realizarea capturilor de performanță facială în timp real, la fel ca și alți cercetători cu un instrument numit Face2Face. Aici se află și Faceshift, împreună cu Facebook și Snapchat, care au început să-și demonstreze produsele.

Deci, ce face tehnologia lui Pinscreen diferită? Li sugerează că soluția companiei sale este "mult mai robustă și poate deduce modele 3D mai precise, deoarece ne ocupăm în mod explicit de ocluziuni".

"Inovația noastră cea mai importantă este o tehnologie care ne permite să construim un model complet de cap 3D care să includă părul din orice imagine în mod automat", afirmă el. "Acest tip de sarcină necesită, în mod tradițional, un modelator CG gigant și un rigger să producă, dar putem genera acest lucru complet automat. Cele mai recente lucrări prezentate la SIGGRAPH (cea mai importantă grafică a computerelor și tehnicilor interactive) necesită de asemenea mai multe intrări ca intrări - ne concentrăm asupra soluției cu cerința minimă de intrare, o singură imagine 2D."

Desigur, până când oamenii vor vedea și vor folosi orice aplicație de pe Pinscreen, juriul va rămâne în afara capabilităților sale. Diferența este că, desigur, Li are o istorie solidă de cercetare și inovație în spatele lui, în special în realizarea avatarelor digitale.

Li are în mod clar încrederea în posibilitățile Pinscreen în spațiul social media. "Deoarece tehnologia noastră va democratiza generația de avatare 3D, va avea aplicații evidente în jocuri, aplicații VR / AR pentru comunicare imersivă sau agenți AI", spune el, "dar cred că vom crea singuri cea mai tare aplicație, care este platforma socială media pe care o dezvoltăm.

"Cel mai important," adauga el, "vrem sa construim ceva care permite oamenilor sa creeze un continut interesant fara a avea nevoie de o conducta scumpa VFX de azi si poate folosi adevaratul continut de AR pentru a se conecta unul cu celalalt".

Se pare ca Pinscreen va include gama de tehnologii pe care Li si echipa lui au lucrat. Dar, spune el, aceasta este doar o parte a planului. "Demo-ul tehnic este într-adevăr doar o caracteristică a ceea ce intenționăm să folosim", notează el. "Pinscreen va fi ceva mult mai mare și tehnologia va fi o caracteristică interesantă la început. Vom fi, de asemenea, destul de diferite de alte platforme sociale mass-media."

Deocamdată, Pinscreen este încă un pic de mister și se pare că va trebui să așteptăm să vedem ce au în stoc.