Stvaranje uistinu impresivnog 3D svijeta u virtualnom okruženju dugo je želja brojnih ljubitelja gaminga, no tu su i ostale grane poput dizajna, modeliranja i ostalih koji na stvaranje vrlo detaljnih oblika troše velike količine vremena. Taj proces upravo fotogrametrija može skratiti, a dobivate vrlo dobar rezultat kojeg uvijek kasnije možete optimizirati u raznim 3D programima za dobivanje 3D elemenata optimalne kompleksnosti i izgleda.
Danas je taj postupak poprilično jednostavan pomoću mobitela i aplikacija koje su mahom besplatne za one koji se žele vježbati ili imaju manje projekte, dok dobar dio aplikacija traži pretplate, trend koji je zahvatio sve grane softverske industrije. Jedna aplikacija se izdvaja, a to je Sonyjeva „3D Scan“ aplikacija koju su lansirali kada je osvježena njihova linija Xperia mobitela, te je ona jedina od popularnijih rješenja koja zapravo koriste hardver mobitela za „offline“ obradu fotogrametrije. Tu se javljaju drugi izazovi ako nemate Sonyjev mobitel, no moguće ju je „sideloadati“ na druge Android uređaje, jedino je bitno imati adekvatne performanse i hardversku potporu koju uglavnom mid-range ili bolji mobiteli s Qualcomm čipsetima unazad par godina svakako imaju.
Koju god opciju izabrali, uz pravilnu primjenu, dobit ćete iskoristiv 3D model preslikan iz stvarnosti za obradu u virtualnom svijetu. Ono što svakako treba znati je da fotogrametrija zahtijeva dosta vježbe za solidne rezultate koje će uvijek trebati dodatno obraditi kasnije, a za visoku preciznost potreban je i prazan prostor te puno svjetla kako bi kamera uhvatila sve detalje objekta pod raznim kutovima gledanja, što je na kraju krajeva i sama definicija ovog postupka.
Donosimo vam zanimljive pristupe ovoj mobilnoj funkcionalnosti koji su donedavno zahtijevali kompleksne i skupe sustave kamera, a danas tu mogućnost, kao i mnogobrojne do sada, dodajemo mobitelima. Uz fotogrametriju, prostor je moguće skenirati i laserima poput Appleovog iPhonea koji koristi isti princip kojim otključava mobitel detekcijom vašeg lica, no stražnji laseri pored glavnih kamera imaju nešto širi pogled, pa su optimalniji za skeniranje prostora nego za manje predmete, što je tema koju svakako planiramo pokriti dolaskom naprednih AR sustava.
Tehnologija
- mobitel za izradu VR 3D skulptura
Ova tema definitivno ima nešto užu publiku s obzirom da se tiče specifično kreiranja 3D sadržaja, a pri tome mislimo na specifičan 3D sadržaj statične prirode, barem ako ga slikate na način koji ćemo mi opisati. Fotogrametrija u suštini uzima minimalno dvije slike iz različitih kutova gledanja za dobivanje precizne projekcije stvarnosti u 3D prostor. Sustav radi na principu triangulacije prostora s obzirom na položaje kamera i tako dobiva precizan izgled neke površine ili cijelog objekta. Dok su u teoriji dovoljne dvije slike za osnovnu kalkulaciju, što ih je više, to će konačan rezultat biti precizniji, pogotovo s modernim softverskim rješenjima.
Odličan primjer fotogrametrije možete naći na Googleovim kartama uključivanjem „3D pogleda“ na satelitskom prikazu koji je dostupan za veće gradove i kod nas. 3D modeli zgrada, parkova i ulica dobiveni su slikanjem površine Zemlje iz više kutova pomoću satelita, a slike su zatim obrađene za dobivanje impresivne razine detalja. Fotogrametrija se originalno i koristila za precizna mjerenja fotografiranjem, prije nego što se adaptirala za primjene poput one u današnjoj temi, odnosno kreacije 3D objekata. Danas ova tehnologija nije limitirana na slike iz zraka, već napredni softverski sustavi mogu izračunati i pozicije kamere u trodimenzionalnom prostoru odakle slikate objekt, prebacujući velik dio kompliciranog posla s korisnika na računalni sustav, što na kraju i omogućuje da svatko iskuša ovu tehnologiju.
Sonyjeva: aplikacija može se s malo petljanja preuzeti i na ostalim mobitelima, no pokazalo se da površina naše patkice nije optimalna te se savjetuju predmeti s nešto grubljim detaljima kako bi softver prepoznao model
Motivacija da bolje proučimo ove tehnologije uvelike je potaknuta sve bržim razvojem virtualne, odnosno proširene stvarnosti. Svi znamo za brojne VR naočale koje se pojavljuju na tržištu, no tehnologija je još uvijek u razvoju, ponajprije kako bi naočale bile dovoljno lagane za sve korisnike, a nakon toga imale i dovoljno snage za obradu svih podataka bez pregrijavanja i teških baterija za napajanje. Kao i kod brojnih prijenosnih tehnologija, znate da je nešto sazrjelo kada se Apple krene ubacivati u priču. A ubacio se i u AR/VR naočale s nedavnim predstavljanjem funkcionalnog koncepta koji je u zadnjim fazama razvoja i oni koji su ga koristili imaju mahom pozitivne komentare. No, Apple nije jedini jer su Meta i druge kompanije vrlo aktivne u razvoju ove tehnologije, koja bi, ako zaživi, mogla osjetno promijeniti način konzumiranja sadržaja. U idealnom svijetu to bi bile standardne naočale koje vam na staklo projiciraju 3D sliku proširivanjem stvarnog svijeta poput HUD-a (heads-up display) u brojnim sci-fi filmovima. Dok do te točke ipak ima vremena, veseli nas razvoj novih tehnologija i pristupa na koje možda nismo navikli. Apple je na svojim mobitelima već demonstrirao mogućnosti skeniranja prostora oko sebe zahvaljujući naprednim laserskim sustavima za mjerenje prostora zajedno sa sustavom kamera, spoj koji konkurencija još nije razvila hardverski, a kamoli softverski.
Korak naprijed
No, to ne znači da ne možete sudjelovati u ovom nadolazećem 3D svijetu sa svojim mobitelom, s obzirom da je sve što vam treba kamera. Istina je da je kvalitetna slika nužna za dobar rezultat, no za potrebe trigonometrije dobri su i mid-range mobiteli unazad nekoliko godina te dobro osvjetljenje. Zapravo, dobro osvjetljenje je najbitniji detalj ove priče i ovisno o tome koliko se potrudite osvijetliti subjekt, toliko će vam dobar konačan rezultat biti. Jednom kada dobijete rezultat, uglavnom se radi o vrlo kompliciranom modelu s velikim brojem poligona što je svakako plus za danju obradu, no uglavnom softverom želimo umanjiti broj poligona, pritom zadržavajući izgled modela što je bliže moguće originalu. Umanjivanjem broja poligona rasterećuje se procesor koji će objekt morati prikazati ili animirati kako bi bio vidljiv i slabijim sustavima, a često želite prikazati puno više od samo jednog modela, primjerice, boce u sceni. Poligoni se brzo povećavaju brojem modela u sceni, do razine da se na kraju prikaz usporava kod renderiranja uživo, a i kod renderiranja animacije za video je ukupno trajanje renderiranja osjetno dulje. Ako je fokus cijelog iskustva na jednom objektu, svakako je poželjno da bude detaljan, no prikazujete li cijelu šumu, nema potrebe da se vidi mrav na kori svakog drveta.
Google karte 3D: prikaz možda je najbolji primjer fotogrametrije dostupan svakome, gdje su slike satelita iskorištene za dobivanje vrlo preciznog 3D prikaza cijelog grada
Što i kako
Dakle, snimanje 3D objekta fotogrametrijom sastoji se od generalno dva glavna koraka: prvi je snimanje mobitelom unutar neke od brojnih aplikacija, a drugi je prebacivanje tog modela na računalo za završnu obradu. U završnoj obradi, osim već spomenutog pojednostavljivanja modela, imate priliku ispraviti manje (ili veće) greške koje su nastale u prvom koraku, a to je najčešće čišćenje dna modela koji niste mogli slikati jer je bio, primjerice, na stolu. Opcija je svakako objesiti model na žicu da visi i tako ga slikati, no ako se radi o mekšem materijalu, vješanjem će izgubiti originalni izgled, detalj na koji također treba misliti. Druga sitnica je veličina objekta kojeg slikate, kako biste mogli optimizirati sam pristup snimanju. Naime, kod slikanja je izuzetno bitno dobro osvjetljenje, pa za manje objekte koje možete nositi svakako savjetujemo korištenje neke vrste okretne površine kako biste mogli fiksirati mobitel i rasvjetu te samo okretati model na mjestu za najpreciznije slike. Takvu podlogu najlakše možete naći u većim dućanima s namještajem pod nazivom okretni podmetači, okretni tanjuri, okretni pladanj i slično, a radi se o jednom te istom proizvodu koji vam uvelike pomaže u slikanju, pogotovo u fotogrametriji manjih modela. Savjetujemo i rasvjetu koja ne daje jako oštre rubove sjenama, tako da je moderna „mliječna“ LED žarulja sasvim dovoljna. No, sve spomenuto postaje izazov ako želite snimiti nešto veće, poput automobila. Dok je danje svjetlo na prvu odlično rješenje problema osvjetljenja, istovremeno rezultira iznimno oštrim sjenama s neizbježno jednom stranom automobila u potpunom mraku, pogotovo za senzor kamere koji normalizira osvjetljenja na temelju prosječne svjetline scene. Drugim riječima, slikanje većih modela vani najbolje je za vrijeme svjetlijih oblačnih dana.
Osiguravaju podjednako osvjetljenje, realne boje i vrlo „plosnat“ efekt svjetla koji je idealan za modele jer ih ionako trebate ubaciti u 3D svijet u kojem ćete imati vlastita osvjetljenja. Taktika je ista, slikate automobil sa svih strana korištenjem malih pomaka, no ne zaboravite ni na krov automobila.
Krajnja obrada: u Blenderu ili nekom drugom 3D programu sastoji se od čišćenja modela od neželjenih detalja iz okoline kako biste dobili samo željeni oblik. Također je ovdje moguće ispraviti neizbježne greškice nastale automatiziranim generiranjem modela
Nakon slikanja dobit ćete rezultat u obliku 3D modela koji možete odmah pogledati u aplikaciji koju koristite, a nude vam i opciju eksportiranja modela u više formata, pa je najbolje iskoristiti onaj čiji program planirate koristiti. Mi smo se odlučili za Blender s obzirom da je besplatan, podržava većinu formata i ima jako puno resursa da se novi korisnici mogu brzo ubaciti u rad. Jedna od velikih prednosti fotogrametrije je u tome što već imate i realnu „sliku“ modela, odnosno model dolazi s točno obojanim površinama, ako je sve prošlo po planu. U 3D programu otključane su vam sve mogućnosti kontrole, što zapravo znači da lagano možete napraviti nešto što niste htjeli, pa će vam trebati malo vježbe da naučite točan postupak i dobijete željene rezultate. Dok programi za obradu 3D modela na prvu mogu izgledati komplicirano, nije ih potrebno u potpunosti naučiti, već pogledajte kako se rade osnovni zadaci koje vi trebate i krenite od toga. Mi smo naše testne modele lako raspakirali u Blenderu, a jednom kada se preko njih stavi i slika koju dobivate uz model, rezultat izgleda vrlo realistično. Odlična funkcija Blendera je što vrlo jednostavno može smanjiti kompleksnost modela. Ovu vrijednost sami možete odrediti, ili prepustiti programu, a nakon što je gotov, često ćete vidno primijetiti gubitak detalja ako se radi o kompliciranijem modelu. U tom slučaju, pomoću alata možete odrediti razinu pojednostavljivanja modela koja će vam pasati, s jednostavnim ponavljanjem radnje sve dok niste zadovoljni, a ovaj postupak lako se riješi i do 90% detalja bez značajnih vidnih promjena modela, ponovno ovisno o kompleksnosti. Jednom kada se naučite skenirati modele, možete se pozabaviti i materijalima, pa tako označiti razne površine modela, dati im metalni sjaj, efekt tkanine, plastike, stakla, itd. Onda će vaš model uistinu zaživjeti u prostoru. Tako čime god da se bavite, bilo da slažete 3D elemente za prikaz kuće klijentima ili želite započeti s vlastitom 3D igrom, imat ćete kompleksne 3D modele u vrlo kratkom roku koji će izgledati poput stvarnih, jer upravo to i jesu.
Provjerite model: Moguće je odmah renderirati model da vidite kako izgledaju slikane površine i trebate li generirati vlastite. Modelu možete dodati i razne dodatke poput visinske mape ili efekta metalne površine
Uvijek se negdje krije pretplata
Na kraju se vraćamo do samih programa. S obzirom da sve radimo na mobitelu, imate na izbor veći broj aplikacija koje sve imaju vrlo sličan način rada, pa čim isprobate jednu, znat ćete za sve kako funkcioniraju. Moderne aplikacije sav rad prebacile su na svoje servere kako bi se izbjeglo neovlašteno kopiranje programa, a vama nude razne pretplate. Ovisno o tome želite li se samo malo zabaviti i naučiti nešto novo, savjetujemo vam da isprobate veći broj aplikacija u besplatnim verzijama koje će vam ponuditi dosta prostora za vježbanje, a neke imaju i fleksibilnije mogućnosti u besplatnim verzijama. 3D model tu i tamo neće biti problem, a ako želite ovako raditi veći projekt, ipak će vam trebati neka vrsta pretplate - no na taj način uštedjet ćete ogromnu količinu vremena koja bi inače bila potrošena na modeliranje 3D modela. Alternativa je, kako smo spomenuli, Sonyjev program za mobitele koji ima mogućnost skeniranja pomoću obrade unutar samog mobitela, no Sony ga ipak drži ekskluzivno za svoje mobitele, pa ga je potrebno „sideloadati“. Iako proces nije kompliciran, ipak treba više napraviti nego samo skinuti aplikaciju s dućana. Mi smo imali pokrenutu aplikaciju na Samsung mobitelu unutar desetak minuta, pa smatramo postupak dovoljno jednostavnim. Imajte na umu jedino da „sideloadane“ aplikacije koje koriste specifičan hardver na mobitelima neće uvijek funkcionirati, a Samsung ima i vlastitu aplikaciju za 3D skeniranje objekata koja ponovno funkcionira samo na određenim modelima. To se pokazalo kao generalno pravilo gdje neke aplikacije funkcioniraju s nekim mobitelima, a druge ne, pa zato svakako isprobajte nekoliko verzija prije nego uzmete pretplatu.
Kako slikati
Pogledajmo kako je najbolje postaviti cijelu scenu kako bismo dobili što preciznije skeniranje objekta kojeg je zatim lako iskoristiti u drugim programima. Mi smo iskoristili veći broj aplikacija, no ovdje nam nije ideja izdvojiti jednu, već pokazati kako generalno funkcioniraju. Kako smo spomenuli, gotovo svaka će htjeti neki oblik pretplate s limitiranim besplatnim funkcijama. Dok se ne odlučite za onu koja vama najviše paše, jednostavno ih je za početak koristiti više. S obzirom da sve danas koriste vlastite servere za konačnu obradu iz slika u 3D, imajte na umu da vam treba i solidna internetska veza s velikom količinom podataka za upload i download.
1. korak: Scena
Možda najbitnija stvar je odabir scene. Okruženje oko predmeta koji skenirate značajno će utjecati na konačan rezultat skeniranja, preciznost skena i konačno, završnu obradu slike. Kod skeniranja većih modela u prirodi nemate puno izbora, a samim time možda će vam trebati više pokušaja za dobivanje željenog rezultata. Također, razne aplikacije imat će bolje ili lošije rezultate kod slikanja većih modela. Sve aplikacije nude upload većeg broja slika, od 30 do 300 ili više, što vam odmah može dati naznaku koliko detaljni trebate biti u slikanju. Idealno bi bilo da svaki model koji slikate možete slikati iz svih kutova, primjerice, za slikanje kuće vjerojatno će vam trebati slike s drona za uspješno skeniranje. Slike uvijek možete prebaciti na mobitel i iskoristiti za sken.
Za slikanje manjih objekata koje možete micati, idealno bi bilo imati neutralnu podlogu. Bijela podloga potencijalno će bolje odbiti rasvjetu i u donjim kutovima modela za ujednačenije osvjetljenje. Ipak, aplikacije savjetuju da ne koristite potpuno čistu pozadinu, jer koriste predmete u pozadini za lakše kalibriranje položaja kamere u prostoru, pa oko predmeta skeniranja možete postaviti razne sitnice koje će programu olakšati da se snađe u prostoru. Neke aplikacije nude i dizajn koji isprintate na papir kao podlogu kako bi se kamera lakše snašla u prostoru.
2. korak: Rasvjeta
Svjetlo je najveći izazov kod fotogrametrije. Ako model nije pod ujednačenim svjetlom iz svih kutova za vrijeme skeniranja, sjene na jednoj strani modela ostaju „zapečene“ i na 3D modelu. Generalno osvjetljenje želite sami kasnije postaviti u 3D programu, pa za iskoristiv sken želimo ujednačeno osvjetljen model. Slikate li u kući, postavite barem tri do četiri rasvjetna tijela (LED E27 žarulje) visoke snage sa zamućenim izvorom svjetla u ujednačenom razmaku od modela, tako da ne vidite jasne sjene od nijednog pojedinačnog svjetla. Rasvjetu postavite malo iznad modela da vam ne upada u kadar mobitela dok slikate. Svjetla ne moraju biti iza vas, već ih možete zaobilaziti rukama tako da samo mobitel stavite ispred. Imate vremena s obzirom da se ne radi o videu, već fotografijama. Neke aplikacije nude i snimanje videa za fotogrametriju, te ovdje možete koristiti isti princip, no izbjegavajte trzanje dok prebacujete mobitel. Svakako zaključajte ekspoziciju i balans bijele boje jednom kada krenete raditi, što će većina aplikacija i sama napraviti.
Nativne aplikacije: poput Samsungove omogućene su samo na vrlo specifičnim modelima mobitela koji dolaze s ToF senzorom straga
U slučaju da slikate vani, sunce daje vrlo oštre sjene kojih se nećete moći riješiti kasnije. Najbolje i zapravo jedino vrijeme za fotogrametriju vani je za vrijeme oblačnih dana, te je idealno kada su oblaci svjetliji.
Aplikacije: će vas voditi kroz slikanje raznim savjetima i preporukama kako doći do savršenog 3D modela jer nisu svemoguće
3. korak: Slikanje
Svaka aplikacija imat će nekoliko koraka sa savjetima da se ne razočarate od prve s neadekvatnim skenom. No, prvih nekoliko skenova vjerojatno će ispasti nepravilno s raznim artefaktima i neispravnim sitnicama, dok ne uhvatite ispravan način slikanja modela za dobivanje najboljeg konačnog rezultata. Bitno je imati na umu da nakon skeniranja 3D model treba obraditi u nekom odvojenom programu, baš kako se i većina fotografija obrađuje prije objave na društvenim mrežama, makar samo pokrenuli automatizirani postupak.
Bitno je imati dosta rasvjete kako bi ISO kamere na mobitelu bio što niži i tako se izbjegla zrnatost slike. Svakako obrišite kamere s mikrofibra krpom, za izbjegavanje bilo kakvih zamućivanja slika zbog vlastitih otisaka na staklu kamere. Dok je rasvjeta bitna, idealno je da se nikada ne pojavi u kadru za vrijeme slikanja jer će značajno narušiti kvalitetu fotografija. Moderni mobiteli često imaju napredne HDR mogućnosti slikanja, no generalno proizvođači uređaja ne dozvoljavaju te napredne funkcije aplikacijama treće strane.
Jednom slikan: projekt čeka obradu koja uključuje upload svih slika ili videa koji se potom obrađuju na serveru aplikacije
Druga bitna stavka je razumijevanje same kamere mobitela, odnosno gotovo svake kamere općenito. Vjerojatno ste se susreli s efektom da rubovi slike budu razvučeni ili mutni. To je jednostavan fizički nedostatak kamera, a samo sredina scene se može nazvati preciznom. Zato kod slikanja bilo kojeg modela budite dovoljno udaljeni da on zauzima otprilike 50% centra vašeg kadra kako bi sken bio oštar i precizan, a većina aplikacija sama će vam obojati rubove kadra koje treba izbjegavati.
Prvi rezultat: vratio nam je razočaravajuću mrlju, no to nas nije obeshrabrilo
Pratite uputstva: Aplikacija će vas voditi kroz proces slikanja na vrlo jasan način te nakon par projekata dobivate daleko bolje rezultate
4. korak: Obrada
Kada dobijete dovoljan broj fotografija, aplikacija će ih sve uploadati na eksterni server za obradu, a vama poslati gotov 3D model jednom kada je posao gotov. Besplatni modeli standardno moraju čekati dulje od pretplatnika.
Jednom kada imate gotov model, ovisno o aplikaciji, možete odabrati format u kojem želite izvesti model za daljnju obradu. Mi smo odlučili koristiti Blender 3D program na računalu s obzirom da je besplatan i ima ogromnu podršku korisnika kako je open-source, pa i ako nešto nije podržano službeno, često možete pronaći plugin koji vam nudi dodatnu funkcionalnost. Tako Blender ima standardan broj formata koje može pročitati, no postoji i velik broj plugin dodataka koji omogućuju import velikog broja formata. Prije korištenja aplikacije za fotogrametriju svakako provjerite formate koje može koristiti, kao i podršku istih unutar programa za obradu poput Blendera. Standardan format je .obj, no ima svoja ograničenja s obzirom da sprema samo oblik, bez slike površine oko koje ste se toliko trudili.
Ovisno o aplikaciji: možete birati želite li se vi kretati oko modela ili pak imati statičan mobitel i okretati model. Jedini izazov su površine bez detalja
Za obradu modela u Blenderu trebat će vam nekoliko tutorijala, no kao i sa svime, daleko je lakše uređivati postojeći model nego stvarati novi, a kod uređivanja praktički trebate samo znati kako obrisati dijelove modela koji su možda krivo izračunati, što često podrazumijeva i neke detalje u okolini vašeg skeniranja koje ne želite u konačnom 3D modelu. Zatim samo treba zatvoriti eventualne „rupe“ u modelu koje su nastale, i model je gotov. Ideja je da za početak „rupe“ u modelu budu na mjestima koji su van pogleda dok se ne naviknete na program. Za većinu primjena, ako ovaj model neće biti jedina stvar koja se prikazuje, previše je detaljan, odnosno zahtjevan za hardver. Blender ima jednostavnu funkciju modificiranja objekta pod nazivom „Decimate“ koja će na temelju postotka (1 je 100%, 0,4 je 40% originalnog modela) umanjiti broj lica (površina trokuta) na modelu, zadržavajući originalan oblik. Iznenadili biste se koliko jednostavniji model može biti, a da sa slikom originala preko sebe i dalje izgleda realistično. Kada nađete postotak koji vam odgovara, model je jednostavno ponovno spremiti u nekom od 3D formata, a možete ga jednostavno renderirati i vidjeti impresivan rezultat pomoću Ray tracinga, dodavajući izvor svjetlosti i nekakvu površinu da služi kao pod, što su detalji koje lako možete naučiti. Ako model renderirate izbliza, primijetit ćete da površine izgledaju dosta plosnato. Taj efekt već je davno riješen u 3D svijetu stvaranjem „Normal“ mape na temelju originalne slike koja će rendereru reći koji dijelovi trebaju izgledati „udubljeno“, a koji „izbočeno“ kako biste dobili realističnu sliku u 3D-u koja je iznimno lagana hardveru za prikaz u visokoj rezoluciji i kvaliteti.
Sve što se nudi: Razne aplikacije imaju razne mogućnosti kao i načine monetiziranja vaših projekata
Potrebno je vježbati: Kako se sva obrada odvija na serverima, nećete znati jeste li i gdje pogriješili dok ne dobijete ovakav rezultat
Tako na kraju dobivate vrlo precizan 3D model za korištenje u svemu, od renderiranja, ubacivanja u igre, za VR i AR primjenu i slične aplikacije. VR i AR pogotovo su sve bliže, a optimizacija prikaza za slabiji hardver bit će vrlo bitan aspekt kako bi mali prijenosni uređaji mogli obraditi zahtjevne 3D objekte.
