Dok cloud giganti podižu cijene API-ja, a pitanja privatnosti postaju ključna prepreka u poslovanju, entuzijasti i profesionalci okreću se vlastitom hardveru. Istražili smo kako složiti sustav koji zamjenjuje cloud AI, zašto klasični gaming PC ovdje gubi bitku i kako se investicija u lokalni AI server može isplatiti za manje od mjesec dana.
Prije svega par godina lokalno pokretanje velikih jezičnih modela zvučalo je kao luksuz rezerviran isključivo za znanstveno-istraživačke laboratorije. Danas je slika potpuno drukčija. Ekosustav otvorenih modela, napredne tehnike kvantizacije i optimizirani alati poput llama.cpp, Ollama, LM Studio ili vLLM omogućuju da iznimno sposoban AI sustav radi na računalu u vlastitom domu ili uredu. Sve veći broj korisnika stoga svjesno napušta ChatGPT i srodne cloud servise u potrazi za vlastitim AI PC-jem.
Motivi za ovaj korak izrazito su praktični. Lokalni AI pruža potpunu privatnost jer osjetljivi dokumenti, vaše linije koda i poslovni podaci nikada ne napuštaju lokalnu mrežu. Sustav radi potpuno autonomno bez internetske veze i mjesečnih pretplata, pruža potpunu kontrolu nad modelima i izvršnim okruženjem te otvara vrata neograničenom eksperimentiranju, od lokalnih chatbota i RAG sustava od vlastitih dokumenata do fine-tuninga manjih modela.
Prije ulaska u ovu investiciju potrebno je razbiti najčešću zabludu: računalo za AI nije isto što i gaming računalo. U računalnim igrama primarni su ciljevi visoki frame rate, niska latencija, rasterizacija i grafičke postavke. Kod lokalnog AI-ja težište je na kapacitetu VRAM-a, memorijskoj propusnosti, stabilnosti pod dugotrajnim opterećenjem, ukupnoj količini sistemske memorije te softverskoj podršci. „Najjači gaming PC” na tržištu može ponuditi solidne performanse, ali ne predstavlja automatski najbolji, a niti najisplativiji izbor za AI.
Što AI računalo zapravo radi pod haubom?
Da biste odabrali optimalne komponente, nužno je razumjeti kako se različite vrste računalnih zadataka odražavaju na hardver. Igranje zahtijeva od GPU-a renderiranje slika u stvarnom vremenu, izračun geometrije, tekstura, osvjetljenja i ray tracinga u desecima ili stotinama sličica u sekundi, pri čemu je latencija kritična. Klasično offline renderiranje, poput rada u Blenderu, također opterećuje GPU ili CPU, no njegov je cilj izračunati konačnu sliku bez potrebe za interaktivnim odazivom.
Treniranje modela s druge strane označava proces u kojem se težine neuronske mreže uče od nule ili se postojeći model opsežno prilagođava na masivnim skupovima podataka. Riječ je o izuzetno zahtjevnom procesu koji traži velike GPU klastere, golemu količinu memorije, brzu međusobnu komunikaciju grafičkih kartica i enormne količine električne energije. Zbog toga je treniranje velikih modela u kućnim uvjetima i dalje uglavnom nerealno.
Ono što većina korisnika zapravo izvodi naziva se inferencija. To je proces u kojem se učitava već istrenirani model, zadaje mu se tekstualni prompt, a on generira odgovor kroz matrične operacije, čitanje težina modela i održavanje konteksta. Za kućnog korisnika, developera i entuzijasta, inferencija je primarni zadatak.
U praksi se najčešće koriste modeli veličine od 7 do 120 milijardi parametara (7B–120B). Manji modeli (7B–14B) izvrsni su za svakodnevni razgovor, sažimanje teksta, jednostavnije kodiranje i osobne asistente. Srednji i veći modeli (30B–70B) pružaju znatno kvalitetnije odgovore i dublje rezoniranje kod složenijih zadataka, no zahtijevaju drastično više memorijskih resursa.
Razbijanje mitova: Što je stvarno važno za AI hardver?
Tržište hardvera prepuno je marketinških tvrdnji koje često navode kupce na pogrešne zaključke. U nastavku donosimo analizu najčešćih zabluda s kojima se susreću graditelji AI računala.
Tvrdnja da samo NVIDIA može pokretati AI u praksi se pokazala nepotpunom. Autor ovog članka pokreće lokalne AI modele na sustavu od četiri AMD Radeon AI PRO R9700 kartice (sa ukupno 128 GB VRAM-a) pod Linux okruženjem uz ROCm i llama.cpp. Cijena takvog izbora očituje se u nešto zahtjevnijoj konfiguraciji, pažljivom usklađivanju drajvera i povremenom traženju rješenja po forumima. Dok NVIDIA nudi najjednostavniji rad „iz kutije”, AMD, Intel i Apple Silicon predstavljaju potpuno funkcionalne alternative za korisnike spremne na malo tehničkog podešavanja. Slično tome, pretpostavka da veći model nužno donosi bolje rezultate opovrgnuta je javnim mjerenjima servisa Artificial Analysis. Primjerice, model Qwen3.6 35B A3B broji ukupno 36 milijardi parametara, ali postiže niži Intelligence Index u usporedbi s manjim modelom Qwen3.6 27B (32 naspram 37 bodova). Razlog leži u MiXture-of-Experts (MoE) arhitekturi modela 35B-A3B, koji po svakom tokenu aktivira tek oko 3 milijarde parametara. Zbog toga je brži i jeftiniji, ali po dubini rezoniranja zaostaje za gustim (dense) 27B modelom. Sam broj parametara u nazivu modela stoga nije jedina mjera kvalitete.
Ključne činjenice za planiranje konfiguracije
Kapacitet VRAM-a ključni je čimbenik za pokretanje LLM-a, dok procesor ne treba preplatiti na štetu memorije grafičke kartice. Zrelost softverskog stoga često nadmašuje sirove specifikacije, a manji model uz dobro definiran prompt, RAG sustav ili fine-tuning može nadmašiti daleko veće opće modele. Naposljetku, vlastiti AI PC donosi financijsku uštedu samo ako ga koristite redovito.
Brzina AI-a: Memorijski propusni opseg kao apsolutni vladar
Pri procjeni brzine lokalnog AI-ja većina korisnika fokusira se na procesorsku snagu ili broj Tensor jezgri. Međutim, tijekom inferencije velikih jezičnih modela glavno usko grlo gotovo je uvijek memorijski propusni opseg (memory bandwidth), a ne sirova računalna snaga grafičkog procesora.
Tijekom faze generiranja tokena (token decoding), grafička kartica mora za svaki novi generirani token pročitati sve težine modela iz VRAM-a, pročitati KV cache (kontekst prethodnih tokena), izvesti brze matrične operacije i zapisati rezultate natrag u memoriju. Budući da su prva dva koraka u potpunosti ograničena brzinom memorije, prijenos podataka stvara fizičku barijeru.
Model od 70B parametara u Q6 kvantizaciji zauzima oko 58 GB. Da bi generirao samo jedan token, GPU mora pročitati svih 58 GB težina zajedno s KV cacheom. Čak i uz memorijski podsustav brzine 1792 GB/s (kakav posjeduje RTX 5090), izračun maksimalne teorijske brzine izvodi se jednostavnom formulom:
Za gusti model od 27B parametara u UD-Q6_K_XL formatu (veličine oko 26 GB) na kartici Radeon AI PRO R9700 s propusnošću od 640 GB/s, teorijski maksimum iznosi oko 24 tokena u sekundi (640/30≈24” t/s” ). U stvarnom radu, zbog sistemskog opterećenja, ostvaruje se stabilnih 18 do 20 t/s, što je odlično.
Analiza memorijskih specifikacija otkriva važne relacije. Iako RTX 5090 dijeli jednaku propusnost s profesionalnom RTX PRO 6000 karticom (1792 GB/s), raspolaže s trostruko manje VRAM-a (32 GB naspram 96 GB), što profesionalni model čini znatno boljim izborom za smještaj velikih modela. Pojedinačna kartica AMD Radeon AI PRO R9700 (640 GB/s) sporija je od RTX 5090, ali je znatno pristupačnija i nudi 32 GB VRAM-a. Kada se primijeni multi-GPU konfiguracija s četiri R9700 kartice (ukupno 128 GB VRAM-a), paralelno dijeljenje modela agregira ukupnu propusnost na nevjerojatnih 2560 GB/s, čime se nadmašuje i najbrža pojedinačna potrošačka kartica. S druge strane, serverski sustav DGX Spark unatoč 128 GB memorije raspolaže sa skromnih 273 GB/s, što ga čini koncipiranim za kapacitet, ali razmjerno sporim u zadacima inferencije.
NVTOP utilizacija gpu-ova u punom radu
Qwen Code CLI za agentsko kodiranje
Dešifriranje AI žargona
Pri odabiru hardvera i konfiguraciji softvera susrećemo se s terminologijom čije je razumijevanje ključno za optimizaciju rada.
Veliki jezični modeli, poznatiji pod kraticom LLM, obrađuju tekst putem tokena, osnovnih jedinica koje mogu predstavljati pojedinačno slovo, dio riječi ili čitavu riječ. Ukupan broj tokena koje model može obraditi u jednom prolazu definiran je njegovim kontekstnim prozorom, koji u modernim arhitekturama doseže raspone od 8K, 32K, 128K pa sve do milion tokena. Sam proces pokretanja gotovog modela s ciljem dobivanja odgovora naziva se inferencija.
U nastojanju da se poveća učinkovitost bez gubitka kvalitete, razvijena je MoE (Mixture of Experts) arhitektura. Umjesto aktiviranja svih parametara, MoE model koristi specijalizirane podskupove („eksperte”) za svaki pojedini token. Tako model Qwen3.6 35B-A3B unatoč ukupnim 36B parametrima aktivira svega oko 3B parametara po inferenciji.
Druga napredna metoda je MTP (Multi-Token Prediction), odnosno tehnika spekulativnog dekodiranja koja predviđa više tokena istovremeno. Iako može podići brzinu generiranja, MTP troši dodatni VRAM i povećava osjetljivost na format izlaza, zbog čega se često isključuje u sustavima za napredno kodiranje.
Rad s vlastitim dokumentima najčešće se oslanja na RAG (Retrieval-Augmented Generation) sustave koji spajaju pretraživanje vanjskih baza s generativnim mogućnostima modela. Pri tome je najkritičniji resurs VRAM odnosno brza memorija grafičke kartice u koju se smještaju težine modela i kontekstualni podaci.
Kako bi se smanjili memorijski zahtjevi, primjenjuje se kvantizacija, odnosno redukcija preciznosti brojeva iz standardnog FP16 formata s pomičnim zarezom u manji cjelobrojni INT4 ili INT8 format. Naposljetku, brzina rada sustava mjeri se u tokenima po sekundi (t/s), gdje vrijednost od 5 t/s predstavlja razmjerno spor rad, 20 t/s osigurava ugodnu komunikaciju, dok 50 i više t/s omogućuje izrazito brz odaziv.
Dimenzioniranje VRAM-a prema veličini modela
Glavna prepreka pri pokretanju modela jest stvarna potrošnja VRAM-a. U tablici u nastavku prikazani su zahtjevi za memorijom ovisno o veličini modela i stupnju kvantizacije, pri čemu je u obzir uzet kontekst od oko 32.000 tokena, KV cache te sistemski overhead. Prvi broj u tablici ‘Koliko stane u VRAM?’ označava čistu veličinu datoteke na disku, dok drugi broj predstavlja preporučeni ukupni VRAM potreban za stabilan rad uz duži kontekst. Ukoliko birate između kartice s manjim kapacitetom brže memorije (npr. 16 GB) i sporije kartice s većim kapacitetom (npr. 24 GB ili 32 GB), za lokalne jezične modele uvijek je bolje odabrati veći kapacitet jer on izravno određuje hoće li se željeni model uopće moći učitati.
Vodič za kupnju: Konfiguracije i stvarna iskustva iz prakse
Ovisno o planiranom budžetu, tržišne opcije u prvoj polovici 2026. godine mogu se podijeliti u četiri jasne kategorije:
Za ulazni budžet od oko 1.000 € sklapa se sustav opremljen 6-jezgrenim procesorom, 32 GB radne memorije, NVMe SSD-om kapaciteta 1 TB te grafičkom karticom s 12 do 16 GB VRAM-a, što omogućuje izuzetno brz rad na modelima veličine 7B do 8B.
Uložite li oko 2.000 €, dobivate osjetno ozbiljniji radni stroj s 8-jezgrenim procesorom, 64 GB RAM-a, 2 TB NVMe pohrane te grafičkom karticom s 24 GB VRAM-a, što je idealno za ugodan rad s 13B i 14B modelima ili pokretanje 30B modela u Q4 kvantizaciji.
Za napredne entuzijaste s budžetom od 3.500 € slaže se moćna konfiguracija s jačim procesorom, 96 do 128 GB sistemske memorije, 4 TB NVMe SSD-om te novom karticom od 24 GB ili dvije rabljene 24 GB kartice, čime se otvaraju vrata ugodnom radu s 32B modelima te izvođenju 70B modela uz djelomični offload.
Na samom vrhu nalaze se radne stanice bez kompromisa s cijenama od 10.000 € i više, opremljene sa 128 do 256 GB ECC memorije, 4 do 16 TB brze pohrane, više grafičkih kartica s ukupno 64 do 192 GB VRAM-a te E-ATX ili EEB matičnim pločama s velikim brojem PCIe linija.
Beskompromisni profesionalni sustav: AMD Threadripper u praksi
Kao konkretan primjer radne stanice sastavljene za potrebe naprednog agentskog kodiranja, analiziramo radni poslužitelj baziran u potpunosti na AMD platformi.
Sustav se zasniva na operacijskom sustavu Ubuntu 26.04 LTS, procesoru AMD Ryzen Threadripper PRO 3975WX sa 32 jezgre i 64 dretve, 256 GB ECC DDR4-3200 radne memorije te četiri grafičke kartice AMD Radeon AI PRO R9700 (RDNA4 arhitektura) sa po 32 GB VRAM-a, što daje ukupno 128 GB VRAM-a.
Financijski presjek radne stanice autora ovog teksta obuhvaća procesor (1.300 €), matičnu ploču s WRX80 čipsetom (1.000 €), ECC RAM (3.750 €), četiri grafičke kartice (5.600 €), napajanje snage 2200W (450 €) te kućište i brzu pohranu (~1.500 €), što usmjerava ukupnu investiciju na oko 13.600 €. Izbor skupog Threadripper procesora i WRX80 platforme bio je nužan zbog PCIe propusnosti. Čipset osigurava čak 128 PCIe linija, što omogućuje da sve četiri grafičke kartice rade pri punoj brzini bez međusobnih uskih grla.
Ovaj sustav ne koristi komprimirane Q4 modele, već isključivo visokokvalitetne Q6 i Q8 varijante iz prilagođenih huggingface repozitorija, budući da veće kvantizacije osiguravaju potrebnu preciznost pri naprednom pozivanju alata (tool use). U profesionalnom okruženju ova se konfiguracija primarno koristi za autonomne agentske petlje u kojima model samostalno analizira repozitorij, predlaže izmjene, pokreće naredbe i interpretira rezultate. U takvom radu kontekstualni prozor brzo raste na desetke tisuća tokena, zbog čega model mora ostati u potpunosti unutar VRAM-a. Kvantizacije Q6 i Q8 sprječavaju pucanje logičkog slijeda pri izvršavanju funkcija, dok ECC memorija, jako napajanje i dostatne PCIe linije garantiraju stabilnost pri dugotrajnim procesima.
Izmjerene brzine iz produkcije (uz isključen MTP)
Stvarna mjerenja izvučena iz zapisa llama.cpp poslužitelja pri radu s iznimno velikim kontekstima prikazuju impresivne performanse
Isključivanje MTP (Multi-Token Prediction) opcije doneseno je s jasnim razlogom. Iako MTP može ubrzati samo generiranje novih tokena, on istovremeno značajno usporava fazu obrade ulaznog koda (prompt processing odnosno prefill). Uzrok leži u tome što se MTP slojevi moraju računati preko cijelog ulaznog konteksta gdje ne donose nikakvu korist jer se prefill ionako računa paralelno.
U agentskom kodiranju, gdje konteksti redovito premašuju 50.000 tokena, najviše vremena odlazi upravo na čitanje i analizu ulaznog teksta. Brz prefill stoga je znatno važniji od same brzine dekodiranja, a MoE model bez MTP-a već ostvaruje dojmljivih 50 do 60 t/s, što nadmašuje brzinu čitanja ljudskog oka.
Isplativost: Lokalni AI PC naspram clouda
Donošenje odluke o gradnji vlastite AI radne stanice svodi se na usporedbu troškova i poslovnih zahtjeva
Financijski izračun na primjeru enterprise radnog opterećenja
Kako bismo izbjegli teoretska nagađanja, analiziramo stvarne troškove na primjeru enterprise AI developera koji koristi agentsko kodiranje 8 sati dnevno (160 sati mjesečno).
Prosječan developer u takvom režimu generira između 3 i 4 milijuna ulaznih tokena po satu (uslijed stalnog učitavanja repozitorija, dokumentacije i konteksta) te 30 do 150 tisuća izlaznih tokena po satu. Ukupni mjesečni volumen po jednom inženjeru iznosi približno 560 milijuna ulaznih tokena i 14,4 milijuna izlaznih tokena.
Pri usporedbi s najnaprednijim modelima poput Claude Opus 4.8, pojedinačni godišnji račun od $75.840 znači da se opisana radna stanica od 13.600 € u potpunosti isplaćuje za svega 2 do 3 mjeseca. Nakon tog razdoblja radni sat poslužitelja stoji svega oko 30 centi električne energije.
Dodatno, snažan sustav s 128 GB VRAM-a opremljen s više grafičkih kartica ne mora služiti samo jednom inženjeru. U stvarnim uvjetima do četiri developera mogu istovremeno raditi na ovakvom poslužitelju, pokrećući vlastite izolirane agentske sesije u Q6 kvantizaciji bez pada performansi. Kada se trošak hardvera podijeli na četiri inženjera, povrat investicije ostvaruje se za manje od tri tjedna, uz ukupnu godišnju uštedu tima koja premašuje 300.000 dolara.
Usporedba s cijenama vodećih API servisa (prema podacima OpenRoutera za sredinu 2026. godine) prikazuje drastične razlike u troškovima
Slučaj iz prakse: Kada cloud postane neodrživ
U enterprise sektoru zabilježeni su primjeri gdje su velike tehnološke tvrtke trošile nevjerojatne iznose na cloud API-je. Uz intenzitet od 560 milijuna ulaznih tokena mjesečno po inženjeru, tim od 50 developera generira čak 28 milijardi ulaznih tokena mjesečno. Na Claude Opus tarifama to stvara trošak od 280.000 dolara mjesečno, odnosno više od 3,3 milijuna dolara godišnje samo za jednog pružatelja usluga. U takvim razmjerima ulaganje u vlastitu infrastrukturu prestaje biti opcija i postaje operativni imperativ.
Zaključak
Odabir i gradnja računala za lokalni AI nije utrka za najbržim gaming procesorom niti lov na najviše bodove u sintetičkim testovima. Riječ je o pažljivoj balansiranju resursa gdje kapacitet VRAM-a i memorijski propusni opseg vode glavnu riječ. Te komponente izravno određuju hoće li se željeni model uopće moći učitati te koliko opsežan kontekst može ostati pohranjen u brzoj memoriji bez rušenja sustava.
Lokalni AI više nije eksperiment. On je postao zreo i ekonomski održiv radni alat. Srednja konfiguracija opremljena s 24 GB VRAM-a i 64 GB RAM-a nudi idealan balans za većinu naprednih korisnika. S druge strane, profesionalni timovi i entuzijasti mogu izgraditi multi-GPU radne stanice sa 128 GB VRAM-a na kojima se bez kompromisa pokreću Q6 i Q8 modeli, gdje brzi MoE modeli nose svakodnevne iteracije, a gusti modeli rezoniraju nad najtežim problemima.
Niti jedna opcija nije univerzalno superiorna: cloud servisi i dalje ostaju odličan izbor za povremenu upotrebu i pokretanje najmasivnijih modela na tržištu. No, za korisnike i tvrtke kojima su privatnost, niska latencija i kontrola nad troškovima svakodnevni prioritet, vlastiti AI PC nije skupa igračka. On je ključan alat koji vraća potpunu kontrolu nad podacima, budžetom i vlastitim radnim procesom.
Napomena o metodologiji, cijenama i mjerenjima
Cijene hardvera predstavljaju procjene za europsko tržište u prvoj polovici 2026. godine, dok podaci za autorov sustav odražavaju stvarne nabavne cijene komponente (GPU, CPU, RAM, matična ploča, napajanje). Veličine GGUF datoteka izvučene su iz službenih repozitorija (UD-Q8_K_XL i UD-Q6_K_XL), a izračuni VRAM potrošnje bazirani su na kalibriranim faktorima (Q4 ≈ 0,62, Q6 ≈ 0,83, Q8 ≈ 1,06, BF16 ≈ 2,00 GB po milijardi parametara) za kontekst od ~32k tokena uz KV cache i overhead. Izmjerene brzine obrade i generiranja tokena dobivene su iz zapisa poslužitelja llama.cpp (bez MTP-a) na 2×R9700 setupu. Procjene API cijena i indeksa inteligencije preuzete su s platforme Artificial Analysis (stanje travanj 2026.). Softverske i hardverske preporuke podložne su promjenama s izlaskom novih arhitektura i optimizacija u alatima llama.cpp, Ollama, vLLM i AMD ROCm.
