Napravi AI bota za 0 KM: Koristi lokalne modele [2026]
Plaćaš 20 dolara mjesečno za ChatGPT? To je 240 dolara godišnje bačenih direktno u vjetar za uslugu koja može nestati čim im serveri štucnu. Ako imaš stari PC u garaži ili laptop koji skuplja prašinu, imaš sve što ti treba da pokreneš vlastiti mozak u mašini. Ovaj vodič ti daje znanje koje korporacije naplaćuju, a tebe košta nula maraka, pod uslovom da znaš upaliti računar i ne bojiš se malo terminala.
Hardverska laž: Ne treba ti GPU od 2000 KM
Prva stvar koju će ti prodavci reći je da bez NVIDIA grafičke karte od tri hiljade maraka ne možeš ni prismrditi vještačkoj inteligenciji. Lažu. Dok ti oni pokušavaju uvaliti hardver, mi ćemo koristiti ono što se zove CPU inferenca i GGUF kvantizacija. Osjetit ćeš toplotu iz kućišta i čuti kako ventilatori vrište dok procesor žvače podatke, ali to je zvuk slobode. Ako tvoj PC ima bar 8GB RAM-a, u igri si. Ako imaš 16GB, već si gazda u svojoj spavaćoj sobi. Cijena AI infrastrukture u 2026. godini je drastično pala jer su modeli postali efikasniji, a ne zato što je hardver postao jači. Nemoj bacati pare na skupe servere dok ne naučiš osnove na kanti koju već posjeduješ.
UPOZORENJE: Tokom prvog pokretanja modela, temperatura procesora može skočiti na 90°C. Ako ti je termalna pasta suha kao barut, tvoj PC će se ugasiti da spriječi topljenje. Provjeri hlađenje prije nego što kreneš u ‘heavy lift’ operacije.
Ollama: Šrafciger koji svaki DIY majstor mora imati
Zaboravi na komplikovane Python instalacije koje se lome čim pogledaš u njih. Za ovaj projekat koristimo Ollamu. To je alat koji ‘pakuje’ kompleksne modele u jednostavne komande. Instaliraj Python samo ako planiraš pisati vlastite skripte kasnije, ali za goli bot, Ollama je tvoj najbolji prijatelj. Proces je prost: skineš, pokreneš i ukucaš ollama run llama3. Osjetit ćeš onaj specifični miris zagrijane elektronike dok se model od 4GB učitava u tvoj RAM. To je trenutak kada tvoj računar prestaje biti glupa pisaća mašina i postaje entitet koji razmišlja. Ako ti se učini da sve koči, to je normalno. Prva generacija tokena je spora, kao kad hladan motor pališ na minus deset.
Zašto ovo radi: Nauka o kvantizaciji
Možda se pitaš kako model koji je treniran na super-računarima stane u tvoj polovan laptop. Odgovor je kvantizacija. Zamisli da imaš sliku visoke rezolucije od 100MB i pretvoriš je u JPEG od 2MB. Izgubiš malo detalja, ali slika je i dalje tu. AI modeli koriste 16-bitne brojeve za razmišljanje. Mi ih ‘gazimo’ na 4 bita (Q4_K_M metoda). To smanjuje težinu modela za 75% uz gubitak inteligencije od jedva 1-2%. To je inžinjerski trik koji ti omogućava da pokreneš Hugging Face modele besplatno bez zakupljivanja clouda. Zapamti: bitno je da model stane u RAM. Ako model ima 5GB, a ti imaš 4GB RAM-a, tvoj hard disk će početi da ‘ore’ (swap), a ti ćeš čekati odgovor tri dana. Don't do it. Drži se modela koji su bar 20% manji od tvog slobodnog RAM-a.
Anatomija promašaja: Šta kad bot počne da laže?
Najveća greška koju ćeš napraviti je da vjeruješ svom lokalnom botu 100%. Lokalni modeli su skloni onome što mi u radionici zovemo ‘falširanje’. U AI svijetu to su halucinacije. AI laže s takvim samopouzdanjem da će te ubijediti da je 2+2=5 ako mu postaviš pogrešan ‘system prompt’. Ako primijetiš da bot počinje da generiše nasumične simbole ili se ponavlja kao pokvarena ploča, to znači da mu je ‘kontekstni prozor’ pun. Ugasi ga. Restartuj sesiju. To je kao kad ti se nakupi piljevine u testeri – moraš očistiti kanal da bi nastavio rezati. Nemoj preskakati ovaj korak jer ćeš završiti sa gomilom smeća od podataka koje poslije niko ne može ispraviti.
Česta pitanja: Da li mi treba internet?
Ne. I to je cijela poenta. Jednom kad povučeš model (onih par gigabajta na početku), možeš prerezati LAN kabl i tvoj bot će i dalje raditi duboko u atomskom skloništu. To je tvoja polisa osiguranja protiv cenzure i pretplate. Provjeri da li tvoj sistem curi podatke, ali kod lokalnih modela rizik je ravan nuli jer podaci ne napuštaju tvoju matičnu ploču. Čak i ako tvoja ‘AI djevojka’ na mobitelu postane previše znatiželjna, lokalni bot na PC-u šuti i radi samo za tebe.
Zaključak: Tvoj server, tvoja pravila
Napraviti AI bota za 0 KM nije samo ušteda novca; to je čin digitalnog otpora. Dok se drugi žale kako ChatGPT postaje ‘gluplji’ ili skuplji, ti imaš fiksiranu verziju modela koja radi isto danas i za tri godine. Napravi vlastiti AI server od te stare kante, slatheruj malo nove paste na procesor i pusti ga da žvače kod. Bit će sporo. Bit će vruće. Ali bit će tvoje. I to je jedini način da zaista vladaš tehnologijom u 2026. godini.
