Svoj cutting-edge rad na dizajnu čipova i algoritama koristi za brži razvoj lijekova, a jedna od prekretnica u računalnoj znanosti je prebacivanje analize podataka iz procesora na samu pohranu (storage), na čemu se radi sa svim vodećim imenima u poluvodičkoj industriji.
Povodom 30 godina časopisa Vidi, napravili smo veliki niz intervjua s vodećim hrvatskim znanstvenicima koji djeluju na Top 200 svjetskih sveučilišta. Niz vrlo zanimljivih razgovora otvaramo s Tajanom Šimunić Rosing, profesoricom računalnih znanosti na sveučilištu Kalifornija u San Diegu. Njezino istraživačko područje uključuje energetski učinkovite računalne sustave s fokusom na dizajn hardvera i softvera za smanjenje potrošnje energije u računalnim sustavima i mrežama.
Profesorica je 1987. godine otišla na razmjenu učenika u srednjoj školi te ostala u jednom prekrasnom gradiću u Arizoni, Flagstaffu, gdje je na sveučilištu Northern Arizona diplomirala elektrotehniku, a doktorirala na sveučilištu Stanford. Prije nego što se pridružila Kalifornijskom sveučilištu, radila je u industriji. A ono što je još možda i zanimljivije jest da je radila u legendarnom Hewlett-Packard labu, gdje je stjecala iskustvo u dizajnu procesora i sustava. Tajana je i međunarodno priznata stručnjakinja u svom području sa 450 znanstvenih radova, a ono što treba posebno istaknuti jest da je prva žena u povijesti koja je dobila nagradu od Semiconductor Industry Association (SIA).
Nagrada vodećeg tijela poluvodičke industrije
SIA je udruga sa sjedištem u Americi koja prema prihodu predstavlja 99% američkih tvrtki koje se bave proizvodnjom i istraživanjem poluvodiča, te skoro dvije trećine ostalih takvih tvrtki u svijetu. Razgovarali smo s doista posebnom osobom, profesoricom i istraživačicom. Na početku nam je
Tajana kao jedna od vodećih stručnjakinja u cutting-edge razvoju poluvodičke industrije predstavila svoje osobno znanstveno postignuće, koje je istaknula kao nešto što smatra svojim najvećim doprinosom znanosti.
„Možda bi bilo najbolje opisati zašto sam zapravo dobila ovu nagradu od Semiconductor Industry Association. Bilo je to za dizajn novog algoritma za machine learning koji se može upotrebljavati i za implementaciju u memorijama i uređajima za pohranu podataka te je u stanju dobiti jednako točne rezultate kao i najveća neuronska mreža te veći sustavi, ali to može napraviti 1.000 puta brže i efikasnije nego što je bilo moguće prije.
Radi toga su novi sustav - koji smo mi dizajnirali, zajedno s čipom koji to ubrzava - mnoge veće kompanije počele upotrebljavati, uključujući Intel, IBM, TMSC i par drugih. To znači da je zapravo s našim dizajnom moguće napraviti nešto što do sada uopće nije bilo moguće. Svaki put kada bismo do sada željeli dizajnirati model za machine learning, morali smo skupljati ogromne količine podataka i onda trenirati model u ogromnim sustavima veličine superračunala, i onda bi se tek taj model mogao staviti na nešto manje veličine, poput mobitela. S našim dizajnom moguće je to raditi bez korištenja superračunala i može se napraviti sve na malom čipu, što je nevjerojatno.“
Dobitnica prestižne nagrade Semiconductor Industry Association
Profesorica Tajana Šimunić Rosing je 2022. godine dobila University Research Award od strane SIA udruženja za izvrsnost u istraživanju dizajna poluvodiča. Nadahnut ljudskim mozgom, istraživački rad profesorice Rosing na hiperdimenzionalnim računalnim sustavima rezultirao je ubrzanjima u hardveru kao što su GPU-ovi, terenski programabilni nizovi vrata (FPGA) i PIM za rukovanje visokodimenzionalnim vektorima u aplikacijama s velikim brojem podataka, uključujući analizu sekvenci COVID-19, otkrivanje lijekova, personaliziranu zdravstvenu skrb i Internet stvari (IoT). Njezini pristupi daju impresivnu točnost u učenju iz velike količine podataka s izvrsnim performansama, ekstremnom energetskom učinkovitošću i robusnošću. Profesorica Rosing je IEEE i ACM stipendistica.
VIDI: Jesu li već proizvođači to implementirali?
„To je sada trenutačno u proizvodnji. Prvi čip se upravo vratio s testiranja iz TSMC-a. Moja suradnja s Intelom rezultirala je idućim čipom koji će implementirati i sigurnost kroz Fully Homomorphic Encryption. To ćemo moći kombinirati s ovim machine learning sustavom koji smo dizajnirali, tako da stvari koje smo napravili malo-pomalo dolaze u stvarnu implementaciju.“
VIDI: Sjajno za vas i sveučilište. Ostaje li to pravo na patent na sveučilištu i dobivaju li se neka sredstva?
„Na osnovu toga što smo osmislili ima više patenata, originalni patent dobiva sveučilište, ali kompanije mogu dogovoriti sa sveučilištem kako podijeliti i kako preuzeti tehnologiju, a to je i dio suradnje koju vodim preko velikog centra od 56 milijuna dolara. Moj centar je sponzoriran od strane DARPA-e i SIA-e. Sve kompanije koje ga sponzoriraju imaju pravo na nešto što zovu first bidding na patente - što znači da kada ih nešto zanima, kao ovo što smo napravili, imaju prvo pravo dogovoriti se i preuzeti u potpunosti taj patent od sveučilišta.“
VIDI: Vi kao istraživačica u tome imate neki svoj udio ili ne?
„Ovisno o tome kako se dogovorimo i tko zapravo preuzme tehnologiju. Započinjem li ja svoju kompaniju i onda prodajem preko svoje kompanije, ili su u pitanju tehnologije preuzete od strane veće kompanije? Obje opcije su moguće.“
1.000 puta brže analizirani podaci
VIDI: Inače ste profesorica, istraživačica, ali i poduzetnica…
„Da, imam konzultantsku tvrtku i to već dosta godina, od 2015. godine. Radim većinom stvari vezane uz poluvodičku industriju, ali radim i sa sistemskim kompanijama. Recimo, trenutno surađujem s Amazonom, Ciscom, Microsoftom, Nokijom, Googleom, Appleom i drugima.“
VIDI: A ako se smije pitati, kolika je satnica istraživača vašeg kalibra u Americi, a koliko naplaćuje inženjer?
„Pa, trenutno naplaćujem $750 po satu. Što se tiče inženjera, početno za konzultanta bi bilo negdje oko $150 do $200 maksimalno po satu.“
VIDI: To je neki prosjek na vašem sveučilištu, ili je zapravo uobičajeno u Americi?
„Da, to je uobičajena cijena. Rekla bih da moji studenti, kada završe studij i dobiju posao, dobivaju prosječnu godišnju plaću od oko $200.000, plus još nekakav bonus za potpisivanje ugovora. To dosta ovisi o trenutku u kojem dobiju posao, jer ako je ekonomija jaka, tada su plaće više. Ako nije jaka, odmah plaće malo padnu, ali dobro se zarađuje.
I ono što se meni sviđa na mom fakultetu jest da ima puno high-tech kompanija odmah pored fakulteta te imamo jaku industriju na svega par koraka od mog ureda, i isto tako vrlo jaku biotehnologiju. Sustav koji sam dizajnirala za machine learning se može primijeniti na biotehnologiju. Također smo ga primijenili na genetiku te sad u zadnjih par godina, i na dizajn novih lijekova.
I uspjeli smo pokazati da korištenjem našeg sustava podaci mogu biti analizirani 1.000 puta brže nego što je prije bilo moguće. Na primjer, za vrijeme COVID-19, bili smo uključeni u dizajn algoritama za detekciju mutacije COVID-19. Naš dizajn je bio korišten od strane od cijelog San Diega i sada ga preuzima CDC za cijelu Ameriku.
Kad smo počeli raditi na tome, trebalo je više tjedana da se dobiju rezultati. Kad smo usavršili sustav, i sam algoritam je završavao za par sati, a čip koji smo dizajnirali i proizveli je bio u stanju analizirati podatke za manje od sekunde, što su ogromne promjene.“
Intervju: Tajana Rosing jedna je od desetak vodećih hrvatskih znanstvenica sa stranim adresama s kojima smo radili intervjue
Važna blizina tehnoloških tvrtki i sveučilišnog kampusa
VIDI: Fantastično. A kad već spominjete da su mnoge firme pored fakulteta, to je vjerojatno bilo presudno i za Silicijsku dolinu. Što mislite, zašto je to bitno? Pogotovo u današnje vrijeme, kad se naglašava da je nebitno gdje se tko nalazi? Mislite li da je ta fizička prisutnost, odnosno blizina između zgrada samih tvrtki i kampusa presudna?
„Za neke stvari i jest, jer radimo na stvarima za koje je potreban laboratorij. Recimo, dok dizajniram čip, dizajn se može napraviti remote i to nije problem, ali kada se čip vrati iz proizvodnje, onda ga treba testirati. Za to je potreban laboratorij. Kada izgradite sustave i želite nešto mjeriti, trebate fizičke strojeve i pristup tome. Kada želite analizirati genetske rezultate, za to je također potreban sustav koji to analizira i iz kojeg onda možete skinuti podatke, a jednom kada se skinu podaci, onda se mogu analizirati bilo gdje.
Za određenu vrstu posla puno znači blizina kompanije, jer se može surađivati na način da moji studenti ujutro odu na predavanje i popodne odu vršiti mjerenja u laboratorij za neke rezultate u sklopu suradnje s tom kompanijom. To dosta ubrzava naše istraživanje i dosta pospješuje to da kompanije preuzmu rezultate našeg istraživačkog posla i stave ih u proizvodnju.Tome sam svjedočila dok sam studirala na Stanfordu, a tako sam i počela suradnju s Hewlett-Packardom. Na Stanford je došao predsjednik kompanije HP Labs, održao govor i ovo je bilo davno, 97.-e godine. Kad je on držao taj govor, pričao je o tome kako će budućnost biti u mobilnom računarstvu. Ja sam ga pitala, pa kako on to planira ako trenutno baterije ne traju dulje od pola sata. Čovjek mi je na licu mjesta ponudio posao. Tako sam počela raditi za Hewlett-Packard i to na optimizaciji energije odnosno potrošnje energije, i bila sam uključena u dizajn prvih sustava koji su poslije vodili prema mobitelima.“
Kalifornijsko sveučilište: u San Diegu ima vrlo snažan istraživački centar za područje računalne znanosti
Razvoj učinkovitih i brzih sustava umjetne inteligencije
VIDI: Kako će kvantno računarstvo i tehnologije umjetne inteligencije utjecati na informatiku?
„Već sad jako. Umjetna inteligencija ima strahovito velik utjecaj ne samo na informatiku, već na sva područja života, jer mnogi ljudi ne znaju da umjetna inteligencija trenutačno pomaže u odgovaranju na telefonske pozive, u analizi raznoraznih podataka, ne samo podataka vezanih uz elektrotehniku i uz računarstvo - i jedan od velikih problema iz tog područja koji još nije riješen je kako stvoriti modele koji su etički točni, odnosno da rade stvari koje imaju smisla za sve ljude, modele koji su dovoljno sigurni, u koje nije lagano upasti i stvoriti probleme, te koji daju rezultate bez velike energetske cijene i bez potrebe za ogromnim sustavima.
Jedan od velikih problema koje naš centar sada pokušava riješiti je kako stvoriti buduće sustave koji će analizirati podatke uporabom umjetne inteligencije na način da ne troše previše energije i da su u stanju veoma brzo dati rezultate analiza, a to će biti moguće samo tako da promijenimo dizajn računalnih sustava. Današnji sustavi to nisu u stanju više efikasno raditi.“
Novi dizajn računalnih sustava s analizom i računanjem direktno na pohrani
VIDI: Jesmo li blizu te točke?
„A i jesmo i nismo. Ideje su tu, rezultati su tu. Recimo, umjesto da podatke non-stop premještamo iz memorije u procesore – na što se trenutačno troši preko 90 posto vremena - moj centar i drugi istraživači u svijetu su predložili da prebacimo analizu podataka direktno u memoriju i direktno u pohranu.
Što znači da umjesto da procesor bude centar svega, analiza podataka i većina te analize će se odvijati ondje gdje podaci trenutno sjede i na taj način možemo ostvariti ogroman dobitak što se tiče energetske efikasnosti te puno bržu analizu, i to je u biti način na koji smo mi, recimo, uspjeli ubrzati analizu mutacije virusa. Velik dio razloga zašto smo uspjeli strahovito ubrzati analizu podataka za razne sustave umjetne inteligencije leži u tome što smo promijenili način na koji se ti podaci analiziraju.“
VIDI: Na čemu trenutačno radite? Što možemo očekivati od vašeg tima u skorije vrijeme?
„Pa, moja velika želja na kojoj trenutačno i radim jest da promijenim način na koji se lijekovi dizajniraju. Ako pogledate kako se to u Americi radi, treba oko 15 godina od ideje do lijeka kojeg možete kupiti na tržištu, a ono što nisam znala sve dok se nisam počela ovime baviti jest da je skoro pola tog vremena potrošeno na analizu podataka.
Jedan od ciljeva mog centra je da nam za to dovoljni budu sati umjesto 7 godina, i na tome radimo tako da dizajniramo nove sustave za analizu takvih podataka. Kao što sam rekla, umjesto da se podaci miču iz memorije u procesore, mi u biti nalazimo načine da ostavimo analizu tih podataka direktno u memoriji, a za to se koristi analogno procesuiranje umjesto digitalnog i to se pokazalo puno efikasnijim i boljim. Koriste se i neki potpuno novi sistemi, odnosno umjetna inteligencija kombinirano s klasičnim algoritmima.“
VIDI: Što biste izdvojili kao najvažniji trenutak u znanosti proteklih 30 godina?
„Proteklih 30 godina sam provela u Americi i rekla bih, najveća stvar je zapravo internet i činjenica da možemo razgovarati ovako, vi u Hrvatskoj, a ja u San Diegu. Možemo surađivati sa svim ljudima širom svijeta, a sjećam se kada su ti prvi koraci započeti u Silicijskoj dolini. Bila sam ondje kada je to tek počinjalo.
Na Stanfordu sam radila u uredu gdje je započet Yahoo, a par ureda dalje od mene je započet Google. Radila sam na prvim sustavima koji su imali web browser Mosaic, i prvi email sam koristila na samom početku, kao i prve chat poruke.“
VIDI: Jeste li imali osjećaj da će to imati takav odjek kada ste sve to koristili?
„Da, i investirala sam u to jer sam znala da se stvari mijenjaju. Još se sjećam, u to davno doba sam rekla svom dedi Zdenku i svojim roditeljima u Zagrebu da se moraju naučiti na računala, tako da možemo besplatno razgovarati - jer u ono doba je to bilo moguće preko chata, ali to je bio vrlo osnovan chat. Morali ste tipkati na ekranu i samo se tekst vidio, nije bilo slike i videa. Tako se moj deda naučio služiti računalom i koristio ga je donedavno. Sada ima 105 godina i još uvijek je živ i dobro je.“
Iduća velika promjena u svijetu računala
VIDI: Što se najznačajnije dogodilo u vašem području unazad nekoliko godina?
„Pa, rekla bih da je to novi dizajn računalnih sustava, odnosno promjena centra analize podataka. U prošlosti je to bio uvijek procesor, bez obzira je li to bio CPU ili GPU. Sada je ogromna promjena prema ubrzivačima koji su ili posebno dizajnirani ili se mijenja na to da se analiza radi u memoriji ili u pohrani. Zapravo bih rekla da, ako bih ponovno investirala, investirala bih sada u to. Mislim da će upravo to biti iduća velika promjena u svijetu i to je jedan od velikih razloga zašto američka vlada i europske institucije jako investiraju u iduću generaciju poluvodiča i čipova. To se zove Chips Act u Americi, a u Europi ima nešto vrlo slično.“
VIDI: Kako ocjenjujete trenutačno stanje znanosti u svijetu?
„Pa, mislim da se znanost strahovito brzo razvija i upravo zato volim raditi posao koji radim, jer stalno učim nešto novo te učim od raznih ljudi iz raznih područja. Jako mi se sviđa što sve više područja surađuje zajedno, a sve je manje tih klasičnih profesora koji rade samo jednu stvar i nikad ni sa kime ne razgovaraju. Recimo, u mom centru je 24 profesora iz cijele Amerike koji surađuju ne samo jedan s drugim, nego i s drugim takvim centrima širom Amerike i širom svijeta.
Evo, u ovome na čemu radim - ubrzanju analize podataka za buduće lijekove - surađujem s doktorima na svom fakultetu, s ljudima koji se bave dizajnom lijekova, s kemičarima, ali i s ljudima koji se bave superračunalima, jer neke od tih stvari čovjek danas ne može analizirati bez superračunala.
Tako da mi se sviđa što se stvari sve više povezuju jedne s drugima i u tim vezama dolazi do vrlo zanimljivih otkrića. Recimo, ova umjetna inteligencija, sustav na kojem sam radila i čipovi koje sam dizajnirala - prve ideje toga su došle od neuroznanosti. U tom su području primijetili da neuroni u raznim biološkim sustavima primaju informacije o svijetu koje su vrlo gusto reprezentirane. Međutim, kada se te iste informacije analiziraju u mozgu, one se pojavljuju kao ogromni podaci, koji su vrlo rijetki i sadrže mnogo nula te vrlo malo „spikeova“ ili aktivacijskih jedinica.
Godinama nije bilo jasno zašto je tako, no nedavno se pokazalo - u radu koji sam radila sa svojim kolegama na Berkeleyju i suradnicima u Europi – da zapravo postoji dobar razlog za takvu rijetku reprezentaciju informacija. To omogućuje lakše razdvajanje različitih klasa podataka. Primjerice, ako mala mušica želi prepoznati što je hrana, a što nije, za nju je ključno da to može jednostavno razlikovati. Tu smo istu ideju primijenili u umjetnoj inteligenciji i analizi podataka, što nam je omogućilo značajno ubrzanje u procesiranju informacija unutar memorije. Nešto što prije nije bilo moguće i ideja koja je krenula iz promatranja jednostavnog organizma poput mušice, danas stoji iza ogromnih pomaka u brzini kojom možemo analizirati petabajte podataka.“
U poslu je važno ne samo preuzeti rizik nego i primiti se posla koji je potreban da bi uspio jer da bi čovjek uspio to nije lagano. Meni su puno puta u životu ljudi rekli da nešto nije moguće i da sam sve to slušala ne bi ništa napravila. Kad mi god netko kaže Tajana ovo nije moguće, u principu ja se još više zainatim i onda znam da je to nešto što je zapravo malo ljudi u stanju i šta bi moglo promijeniti svijet.
U znanosti je ključno razgovarati s ljudima
VIDI: Kakve biste konkretne korake predložili unutar samih procesa znanstvenog istraživanja kako bismo ubrzali te procese i što prije došli do novih otkrića na globalnoj razini?
„Mislim da je jako važno razgovarati s drugim ljudima koji se bave sličnim problemima ili onima koji su bliski mom području. Takvi razgovori često dovode do inspiracije i suradnji koje mogu riješiti probleme koji su se prije činili nerješivima.
Osobno smatram da su Zoom i slični alati jako smanjili fizičku udaljenost među znanstvenicima. Danas normalno surađujem s ljudima iz cijelog svijeta – svaki tjedan imam razgovore s kolegama iz Europe, Južne Amerike i Azije, i to je postalo uobičajeno.“
VIDI: Kako procjenjujete stanje znanosti u Hrvatskoj?
„Zadnjih godina sam u stalnom kontaktu s FER-om i s FESB-om u Splitu, i moram priznati da sam jako impresionirana time kako se hrvatska znanost kreće naprijed. Na FER-u je profesor Petrović jedan od mojih najbližih suradnika i on je vodio više većih projekata s Europskom unijom. I mnogi drugi profesori na oba fakulteta su se angažirali i povezali sa svijetom. Sve više vidim naše ljude da prezentiraju na većim svjetskim kongresima, tako da mi je drago vidjeti da se Hrvatska povezuje i da stvari kreću pozitivnim smjerom. Mislim da je jako važno da se tako nastavi, a kada se ocjenjuje kakav je napredak unutar Hrvatske, ne treba gledati samo usporedbe unutar naše zemlje, već i usporedbe na svjetskim nivoima. I mislim da je to način da se razvijamo i na svjetskom nivou.“
VIDI: Znači, da težimo najvišim ciljevima u svakom smislu?
„Nema razloga zašto ne. Imamo vrlo sposobne i pametne ljude. Imamo dobar obrazovni sistem, mislim da treba to iskoristiti, ali da treba postavljati ciljeve na svjetskom nivou, ne zaustaviti se i ne tražiti razloge zašto ne.“
Da sam slušala sve koji su govorili da je nešto nemoguće, ne bih nikad uspjela
VIDI: Vjerojatno ste mnogo puta bili mentor - kako biste opisali tri, četiri karakteristike uspješnog mentora?
„Mislim da je jedna od stvari koja je jako važna za mentora je dobro upoznati osobu sa kojom surađujete, znati i pozitivne i negativne strane te osobe i onda pomoći toj osobi da dostigne ciljeve koje želi dostići - ciljeve o kojima možda i nije razmišljala.
S jedne strane im treba pomoći razviti pozitivne strane, a s druge na pomalo nježan način pomoći im s negativnim dijelovima, jer svatko od nas ima nešto u čemu je dobar i nešto u čemu nije tako dobar. I mislim da je jako važno naći pravo mjesto gdje ovo u čemu smo dobri može procvjetati, a ovome u čemu nismo dobri se može pomalo pomoći. Neki ljudi bolje rade sami. Neki ljudi bolje rade u manjim grupama. Neki ljudi više uspiju u većim grupama, tako da treba obratiti pažnju na vrstu problema i na to kako i s kime surađivati. Moje iskustvo je da svatko može uspjeti, samo je pitanje želi li to i je li spreman potruditi se za to.“
VIDI: Hoćete reći, puno ljudi želi ostati u zoni komfora i jako malo je spremno preuzeti rizik?
„Ne samo preuzeti rizik, nego i primiti se posla koji je potreban da uspiju, jer nije lagano uspjeti. Meni su mnogo puta u životu ljudi rekli da nešto nije moguće i da sam sve to slušala, ne bih ništa napravila.
Kad god mi netko kaže: „Tajana, ovo nije moguće“, u principu se još više zainatim i tada znam da je to nešto za što je malo ljudi u stanju i što bi moglo promijeniti svijet. Kada sam prvi put čula za ovaj problem u dizajnu lijekova, zapitala sam se zašto je to tako komplicirano. Čula sam 101. razlog zašto se to ne može. I sve su to dobri razlozi, nisu to loši razlozi. I čula sam zašto nije pametno potruditi se da se to ubrza. Valjda mi je milijun ljudi reklo da je puno ljudi to probalo i da nisu uspjeli. Da sam odustala, ne bih napravila to što sam već napravila.“
VIDI: Zapravo je i recept za inovativnost vječno pitanje - kako potaknuti inovativnost?
„Mogu reći da me ljudi često pitaju kako mogu kombinirati privatni život sa svojim istraživačkim radom, i mislim da je to jako važno pitanje jer imam četvero djece. Moja djeca su mi jako važna. I pazim da uvijek imam vremena za svoju obitelj. Recimo, jedanput tjedno muž i ja odemo van zajedno, bez djece, tako da mislim da je ključno raditi na dobrom braku. S djecom vikendima često imamo planinarenje i razne druge aktivnosti. Dobro pratim što djeca rade u školi i s njima radim na hrvatskom svaki dan, tako da dobro govore hrvatski, znaju ga čitati i pisati.
Često dolazimo u Hrvatsku posjetiti obitelj, tako da su mi obitelj i prijatelji vrlo bitni. Još uvijek sam u kontaktu sa svojim prijateljima iz MIOC-a. Mislim da je obitelj jako važna, no i poslovni život je isto jako važan, tako da treba naći načina kombinirati oboje. Ali isto tako, i znati da je to moguće, da nije nemoguće. Može čovjek biti uspješan i u jednom i u drugom. Ponekad treba malo više vremena provesti na privatnom dijelu, ponekad malo više na istraživačkom - nije uvijek sve 100 posto jednako.“
