Anything LLM je AI aplikacija koju trebate imati ukoliko želite lokalno koristiti AI. Instalirajte ju i preuzmite neki manji LLM model. Ubacite svoje dokumente u nju koje niste željeli podijeliti na internetu. I, abrakadabra, imate vlastiti AI temeljen na vašim bilješkama ili drugim informacijama.
Ova open-source platforma omogućava korisnicima da stvore svoj privatni ChatGPT bez kompromisa u privatnosti ili funkcionalnosti. Ono što čini Anything LLM posebnim je njegova sposobnost da pretvori bilo koji dokument u kontekst koji veliki jezični modeli mogu koristiti za razgovor. Korisnici mogu odabrati koji LLM ili vektorsku bazu podataka žele koristiti, a aplikacija podržava i upravljanje više korisnika s dozvolama. Postavljanje Anything LLM-a je iznimno jednostavno. Korisnici mogu preuzeti desktop aplikaciju za Windows, Mac ili Linux izravno sa službene web stranice: https://anythingllm.com/ .
Prvi korak nakon pokretanja je odabir LLM-a. Aplikacija podržava brojne pružatelje usluga, od OpenAI-ja i Azure OpenAI-ja do lokalnih rješenja poput Ollama ili LM Studia. Predlažemo da odaberete „Llama3.2 Vision 11B“ jer je on sposoban i prepoznavati slike. Preuzimanje će zauzeti oko 8 GB prostora na vašem računalu.
Nakon odabira LLM-a možete konfigurirati vektorsku bazu podataka. Predlažemo da ostavite defaultnu, iako podržava LanceDB, ChromaDB, Pinecone, Weaviate i mnoge druge. Za većinu korisnika, zadana LanceDB konfiguracija je savršena jer radi brzo čak i na slabom hardveru.
Llama3.2 Vision 11B razumije hrvatski jezik, iako odgovore nećete uvijek dobiti na čistom hrvatskom jeziku, no uz malo truda možete mu navesti riječi koje ne smije koristiti te umjesto njih navedite alternative koje želite da se koriste
AI agenti, radni prostori i organizacija dokumenata
Bit Anything LLM-a su radni prostori tj. kontejneri koji omogućavaju organizaciju različitih projekata i dokumenata. Svaki radni prostor funkcionira kao zaseban thread, ali s dodanom mogućnošću kontejnerizacije dokumenata. Radni prostori mogu dijeliti dokumente, ali za razliku od Agenata, ne „razgovaraju“ međusobno, što održava čist kontekst za svaki projekt. Moguće je kreirati i razne Agente koji mogu međusobno razgovarati.
Korisnici mogu stvoriti neograničen broj radnih prostora, svaki prilagođen specifičnoj svrsi. Na primjer, jedan radni prostor može biti namijenjen programiranju, drugi za tehničke priručnike, a treći za kreativni sadržaj. Svaki radni prostor može imati vlastite postavke LLM-a, što omogućava korištenje različitih modela za različite vrste zadataka. Podržan je širok spektar formata dokumenata - PDF, Word dokumenti, TXT datoteke, CSV datoteke, pa čak i programski kodovi.
Anything LLM uključuje napredne mogućnosti AI agenata koji mogu autonomno obavljati zadatke poput pretraživanja weba, stvaranja grafikona, sažimanja dokumenata i čak snimanja datoteka na desktop. Ovi agenti mogu koristiti različite vještine i alate, što ih čini iznimno moćnima za složene zadatke.
Također podržava multimodalne modele koji mogu raditi s tekstom i slikama, što omogućava korisnicima da postavljaju pitanja o fotografijama, čime možete priložiti slike uz tekst i dobiti detaljne analize i odgovore. Prepoznavanje slika ovisi o LLM-u koji ste odabrali za korištenje.
API i integracija
Za programere, Anything LLM nudi developer API koji omogućava njegovo korištenje u drugim programskim kodovima. Popraćen je dobrom dokumentacijom, tako da ćete se brzo snaći u bogatim opcijama i integracijom s drugim, postojećim, aplikacijama i alatima.
Anything LLM stavlja privatnost na prvo mjesto. Dolazi s razumnim zadanim postavkama koje osiguravaju da se podaci čuvaju lokalno. Korisnici mogu odabrati da koriste potpuno lokalne modele i vektorske baze podataka, što znači da njihovi podaci nikad ne napuštaju njihove uređaje osim u slučaju da Anything LLM spajate s vanjskim vektorskim bazama i LLM-ovima OpenAI-ja i drugih pružatelja usluga.
Bitno je za znati
LLM-ovi s manje parametara (manje gigabajta) manje su točni. Većinom moraju kompletno stati unutar RAM-a, pa ako je LLM velik 8 GB za download, vama na računalu treba barem 12 GB RAM-a kako biste ga mogli pokrenuti. Kad pokrenete LLM u bilo kojoj aplikaciji, i nakon toga pokrenete još neku aplikaciju, poput Chromea, najvjerojatnije ćete srušiti AI aplikaciju jer ona nije spremna da joj RAM „pojede“ neki Chome ili Word. Rušenje se najčešće manifestira tako da LLM počne nizati neki znak ili riječ beskonačno u odgovoruuuuuuuuuuuuuuu.
Besplatne alternative za lokalno korištenje
Iako je Anything LLM izvrsna aplikacija, postoji nekoliko besplatnih alternativa koje nude slične mogućnosti za lokalno korištenje i trebali biste ih isprobati.
Ollama s Open WebUI predstavlja jednu od najpopularnijih kombinacija. Ollama, https://ollama.com/, jednostavan je za korištenje i postavljanje, dok Open WebUI, https://github.com/open-webui/open-webui, pruža elegantno korisničko sučelje. Prednost nad Anything LLM-om je što Open WebUI ima aktivniju zajednicu i češće ažuriranja. Također, kombinacija je iznimno stabilna i pouzdana za RAG zadatke. RAG kombinira sposobnosti AI modela uz pristup vanjskim izvorima podataka, što omogućuje preciznije i relevantnije odgovore.
Jan AI, https://jan.ai/, fokusira se na privatnost i offline funkcionalnost. Dizajnirana je da potpuno radi offline i podržava različite LLM providere. Prednost nad Anything LLM-om je što Jan AI ima bolju cross-platform kompatibilnost i optimizaciju za različite uređaje, uključujući i slabiji hardver.
LM Studio, https://lmstudio.ai/, nudi najelegantnije sučelje za lokalne LLM-ove. Posebno je dobar za početnike jer omogućava direktno preuzimanje modela iz Hugging Facea kroz grafičko sučelje. Prednost nad Anything LLM-om je što LM Studio ima bolju kontrolu nad parametrima modela i podržava napredne konfiguracije bez kompromitiranja jednostavnosti korištenja, a preuzeti LLM-ovi se mogu koristiti i kroz Anything LLM.
Text-generation-webui (Oobabooga), https://github.com/oobabooga/text-generation-webui, najnaprednija je opcija za programere. Podržava najveći broj backendova i omogućava fine-tuning modela direktno kroz web sučelje. Prednost je što podržava najširi spektar modela i formata, uključujući GPTQ, AWQ, EXL2 i druge kvantizacijske formate.
GPT4All, https://www.nomic.ai/gpt4all, možda je i najjednostavnija opcija za početnike. Dolazi s ugrađenim modelima i ne zahtijeva složenu konfiguraciju. Prednost je što GPT4All podržava rad na slabom hardveru i ima vrlo jednostavno sučelje. Također podržava interakciju s lokalnim dokumentima kroz drag-and-drop funkcionalnost.
LocalAI, https://localai.io/, posebno je zanimljiva opcija za programere jer predstavlja potpunu zamjenu za OpenAI API. Postoji verzija koja ne zahtijeva GPU i može raditi na slabijem hardveru. Prednost je što podržava i generiranje slika, audio procesiranje i druge AI mogućnosti u jednoj aplikaciji.
Ovo je tek jedan od recepata iz naše VIDI AI kuharice
 |
Nastavite s čitanjem ostalih poglavlja i cjelina unutar serijala "VIDI AI kuharica"Početna prašina oko generativnog AI se donekle slegla i još nas većinom nije zamijenila umjetna inteligencija. No, i dalje je i sve više oko nas, a ti se alati s predznakom AI-a s malo znanja mogu iskoristiti kao nadogradnja vaših poslovnih ili privatnih alata. Zaronili smo u vrlo napućen svijet AI alata i izronili s našom kuharicom u kojoj možete naći gotove recepte ili samo sastojke s kojima uz malo truda vi možete stvoriti svoj recept. |
