Ultraääni.wmv
Proširena stvarnost i zamjena lica izgledaju kao vrući kandidati za sljedeće mobilne aplikacije; samo pogledajte Facebook-ovu kupnju MSQRD-a ili Snapchatovog stjecanja Looksery-a. No, jedan AR startup pod nazivom Pinscreen, koji je trenutno poduprt u iznosu od 1,8 milijuna dolara od Lux Kapitala i Colopl VR Fonda, pokušava učiniti drugačije u ovom području. Inverzan govorio je isključivo o osnivaču Pinscreen-a Haou Liu o tome što bi moglo biti pred nama za tajnu tvrtku.
Možda niste čuli za Hao Li, ali vjerojatno ste vidjeli istraživanje USC-a kao pomoćnog profesora u akciji u nekoliko filmova. Dok je radio na studiju vizualnih efekata Industrial Light & Magic, Li je pomogao razviti neke alate koji su omogućili snimanje performansi u stvarnom vremenu. Zamisao je da glumac može sjediti ispred računala s web kamerom, glumiti scenu, a onda će se ta izvedba prevesti - u stvarnom vremenu - na CG znak.
Li je proveo opsežno istraživanje iu drugim područjima, uključujući izradu 3D modela stvarnih ljudi u stvarnom vremenu, te snimanje važnih dijelova njihove sličnosti, osobito lica i kose. U posljednje vrijeme, Li je pokazao istraživanja koja su on i drugi proveli u snimanju performansa od osobe sa samo jednom kamerom, i prevođenje na digitalni karakter.
Isprva to ne zvuči tako novo. Već postoji niz rješenja za praćenje lica u razvoju, kako za mobilne aplikacije, tako i za mnogo sofisticiranije sustave kao što je Faceshift (koje je Apple kupio 2015.). No, mnogi od njih se oslanjaju na dubinske senzore, što Li-ova tehnologija ne zahtijeva. Taj pristup, kaže on, vrlo je različit.
"Ako imate senzor dubine, sve što trebate je optimizirati parametre modela lica tako da model odgovara 3D ulazu što je moguće bliže", objašnjava Li. “Ali u slučaju čistog RGB ulaza, cijeli se svijet projicira na dvodimenzionalnu sliku bez poznatih parametara kamere kao što su žarišne duljine. Stoga se iz ove projicirane slike mora izvesti precizan 3D model lica i moći se nositi sa širokim rasponom svjetlosnih uvjeta, kao i izgledom različitih subjekata."
Otuda i važnost Li-ovih istraživanja o 3D avatarima. Kada mapirate ljudsko lice, mnogi programi mapiranja imaju problema s vizualnim preprekama poput kose i naočala. Kako bi izbjegli taj problem, Pinscreen je “izgradio duboku konvolucijsku neuronsku mrežu koja može naučiti kako segmentirati područje lica u potpuno neograničenoj slici.”
Dakle, što je Pinscreen koristeći ovu ludu naprednu tehnologiju?
"Bit ćemo nova vrsta društvenih medija / komunikacijske platforme s nekim zanimljivim AR sposobnostima", kaže Li. "To neće biti aplikacija poput Snapchat objektiva ili MSQRD-a, što je za većinu ljudi zanimljivo samo nekoliko minuta."
Dakle, za sada to nije ništa više od buzzwords. No, gledajući dublje, njegov prethodni rad sugerira da se nadaju da će razviti sposobnost praćenja nečijeg lica unatoč bilo kojoj kosi, naočalama ili drugim predmetima koji ometaju pogled na jednu kameru. Dodajte nešto proširene stvarnosti, a nebo je ograničenje za filmove, društvene medije i igre.
Zvuči prilično revolucionarno, ali važno je napomenuti da Li i njegov tim nisu jedini koji istražuju u ovom području. Disney je nedavno predstavio svoj rad na snimanju performansi lica u stvarnom vremenu, kao i neki drugi istraživači s alatom zvanim Face2Face. Tu je i spomenuti Faceshift, zajedno s Facebookom i Snapchatom, koji su također počeli demonstrirati svoju robu.
Zbog čega je tehnologija Pinscreen-a drugačija? Li sugerira da je rješenje njegove tvrtke "puno robusnije i može izvesti preciznije 3D modele, budući da se eksplicitno nosimo s okluzijama."
“Naša najvažnija inovacija je tehnologija koja nam omogućuje da napravimo potpuni 3D model glave uključujući i kosu s bilo koje slike automatski”, navodi on. “Ovaj tip zadatka tradicionalno zahtijeva vještog CG modelara i rigger za proizvodnju, ali to možemo generirati potpuno automatski. Najnoviji radovi prezentirani na SIGGRAPH-u (vodeća konferencija o računalnoj grafici i interaktivnim tehnikama) također zahtijevaju ulazne slike kao ulaz - fokusiramo se na rješenje s minimalnim zahtjevom za unosom, jednu 2D sliku. ”
Naravno, dok ljudi ne vide i ne koriste bilo koju aplikaciju s Pinscreen-a, žiri će ostati izvan svojih mogućnosti. Razlika je, međutim, u tome što Li zasigurno ima čvrstu povijest istraživanja i inovacija iza sebe, posebno u izradi digitalnih avatara.
Li je očito siguran u mogućnosti Pinscreen-a u prostoru društvenih medija. "Kako će naša tehnologija demokratizirati generaciju 3D avatara, ona će imati očite primjene u igrama, VR / AR aplikacijama za potopnu komunikaciju, ili AI agentima", kaže on, "ali mislim da ćemo sami stvoriti najbolju aplikaciju, koja je socijalna medijalna platforma koju razvijamo.
"Ono što je najvažnije", dodaje, "želimo izgraditi nešto što će ljudima omogućiti stvaranje zaista zanimljivog sadržaja bez potrebe za današnjim skupim VFX cjevovodom i mogu koristiti stvarno zabavan AR sadržaj za međusobno povezivanje."
Zvuči kao da će Pinscreen uključiti niz tehnologija na kojima su Li i njegov tim radili. Ali, kaže, to je samo dio plana. "Tehnički demo je zapravo samo obilježje onoga što planiramo koristiti", primjećuje. “Pinscreen će biti nešto mnogo veće i tehnologija će biti zanimljiva značajka na početku. Također ćemo biti drugačiji od druge platforme društvenih medija."
Za sada je Pinscreen i dalje pomalo misteriozan i izgleda da ćemo morati pričekati da vidimo što imaju.
Microsoft HoloLens programeri pokazuju rani potencijal proširene stvarnosti
Sada kada je Microsoft pretvorio svoje HoloLens virtualne i proširene slušalice u stvarnost za programere, ljudi koji će napraviti ili slomiti uređaj počeli su shvaćati koje nove mogućnosti pruža korisnicima. U prvoj seriji objavljenih marketinških prijedloga jasno je da programeri uživaju u jednom asp ...
David Holz prognozira budućnost proširene i virtualne stvarnosti
Leap Motion suosnivač i glavni tehnološki direktor David Holz nedavno je ponudio svoju viziju naše čudne budućnosti. Uzeo je dugi pogled, tvrdeći da će proširena stvarnost i virtualna stvarnost zauvijek promijeniti ono što znači biti čovjek. Tijekom svog izlaganja - unutar virtualne stvarnosti, naravno - Holz također razotkriva ...
Apple automobil će tući druge s zadivljujućim proširene stvarnosti, izvješće tvrdi
Apple Car je još uvijek na pravom putu, a uskoro će se lansirati. To je prema analitičaru TF International Securities, Ming-Chi Kuou, koji je objavio izvješće u utorak s detaljima o nadolazećem hardverskom planu tvrtke koji će udvostručiti tržišnu kapitalizaciju od 1 trilijuna dolara i doseći nove razine.