Dins de la realitat augmentada secreta de Pinscreen i CGI

La realitat augmentada i el canvi de cara semblen ser candidats candents per a les properes aplicacions per a mòbils; Mireu la compra de Facebook de MSQRD o l'adquisició de Looksery per part de Snapchat. Però una empresa d’inici d’AR anomenada Pinscreen, actualment recolzada en 1,8 milions de dòlars de Lux Capital i Colopl VR Fund, està buscant fer les coses de manera diferent en aquesta àrea. Invers Va parlar en exclusiva amb el fundador de Pinscreen, Hao Li, sobre el que podria estar per davant d’aquesta empresa secreta.

És possible que no hagueu sentit parlar de Hao Li, però probablement heu vist la recerca d’aquest professor adjunt de l’USC en diverses pel·lícules de gran èxit. Mentre treballava en l’estudi d’efectes visuals Industrial Light & Magic, Li va ajudar a desenvolupar algunes eines que permetien capturar el rendiment en temps real. La idea era que un actor pogués seure davant d’un ordinador amb una càmera web, representar una escena i, a continuació, que l’execució es traduís –en temps real– en un personatge CG.

Li ha dut a terme una extensa investigació també en altres àrees, incloent l'elaboració de models 3D de persones reals en temps real i capturant parts importants de la seva semblança, especialment de cares i cabells. Més recentment, Li va mostrar una investigació que ell i altres persones havien realitzat en la captura d’una performance d’una persona amb una sola càmera i la seva traducció a un personatge digital.

Al principi, això no sona tan nou. Ja hi ha diverses solucions de seguiment de rodes en desenvolupament, tant per a aplicacions mòbils com per a sistemes molt més sofisticats, com ara Faceshift (comprats per Apple el 2015). Però molts d’aquests es basen en sensors de profunditat, que la tecnologia de Li no requereix. Aquesta aproximació, diu, és molt diferent.

"Si teniu un sensor de profunditat, només cal que optimitzeu els paràmetres d'un model de cara, de manera que el model s'ajusti a l'entrada 3D el més a prop possible", explica Li. "Però en el cas d'una entrada RGB pura, el món sencer es projecta sobre una imatge bidimensional sense paràmetres de càmera coneguts, com ara longituds focals. Per tant, cal inferir un model de cara 3D acurat d’aquesta imatge projectada i poder manejar una àmplia gamma de condicions d’il·luminació i també aspectes de diferents temes ”.

D'aquí la importància de la investigació de Li sobre avatars en 3D. Quan mapem la cara d’un humà, molts programes de mapes tenen problemes per fer front a obstacles visuals com el cabell i les ulleres. Per evitar aquest problema, Pinscreen "va construir una xarxa neuronal de convolució profunda que pot aprendre a segmentar una regió de la cara amb una imatge totalment sense restriccions".

Així, doncs, què és Pinscreen, que utilitza aquesta avançada tecnologia boja?

"Serem un nou tipus de plataforma de comunicació / comunicació social amb algunes capacitats d'interès AR", diu Li. "No serà una aplicació com els lents de Snapchat o MSQRD, que per a la majoria de la gent només és interessant durant uns minuts".

Per tant, això no és molt més que paraules clau per ara. Però, en un futur més profund, els seus treballs previs suggereixen que esperen desenvolupar la capacitat de fer el seguiment de la cara d'algú malgrat qualsevol cabell, ulleres o altres objectes que obstrueixen la vista de la sola càmera. Afegiu alguna cosa de realitat augmentada i el límit del cel per a pel·lícules, mitjans de comunicació social i jocs.

Sona bastant innovador, però és important assenyalar que Li i el seu equip no són els únics que investiguen en aquesta àrea. Disney ha presentat recentment la seva presa de captures de rendiment facial en temps real, igual que altres investigadors amb una eina anomenada Face2Face. Hi ha també l'esmentat Faceshift, juntament amb Facebook i Snapchat, que també han començat a demostrar les seves mercaderies.

Què fa que la tecnologia de Pinscreen sigui diferent? Li suggereix que la solució de la seva empresa és "molt més robusta i pot inferir models 3D més precisos, ja que manegem explícitament les oclusions".

"La nostra innovació més important és una tecnologia que ens permet construir un model de cap 3D complet que inclogui el cabell de qualsevol imatge automàticament", afirma. "Aquest tipus de tasca tradicionalment requereix un modelador i un aparell qualificat de CG per produir, però podem generar-lo de manera totalment automàtica. Els últims treballs presentats a SIGGRAPH (la conferència líder en tècniques informàtiques i interactives) també requereixen múltiples imatges d’entrada com a entrada: ens centrem en la solució amb el mínim requisit d’entrada, una única imatge 2D."

Per descomptat, fins que la gent vegi i faci servir cap aplicació de Pinscreen, el jurat es quedarà fora de les seves capacitats. La diferència aquí, però, és que Li té, sens dubte, una sòlida història de recerca i innovació, sobretot en l'elaboració d’avatars digitals.

Li té clar confiança en les possibilitats de Pinscreen a l’espai de les xarxes socials. "Com la nostra tecnologia democratitzarà la generació d’avatars 3D, tindrà aplicacions evidents en els jocs, aplicacions VR / AR per a la comunicació immersiva, o agents IA", diu, "però crec que crearem la millor aplicació nosaltres mateixos, que és la plataforma social medial que estem desenvolupant.

"El més important", afegeix, "volem construir alguna cosa que permeti a la gent crear contingut realment interessant sense necessitat de costosos canonades VFX i pot utilitzar contingut divertit real per connectar-se entre ells".

Sembla que Pinscreen inclourà el ventall de tecnologies sobre les quals han treballat Li i el seu equip. Però, diu, és només una part del pla. "La demostració tecnològica és realment només una característica del que volem utilitzar", assenyala. “Pinscreen serà una cosa molt més gran i la tecnologia serà una característica interessant al principi. També serem molt diferents de la d'altres plataformes de xarxes socials."

Per ara, Pinscreen encara és una mica misteriós i sembla que només haurem d'esperar per veure què tenen a la botiga.