Postavi AI model na server za 10 minuta: Vodič za amatere

Iznajmljivanje gotovog AI modela na ‘Enterprise’ nivou koštaće vas preko 500 dolara mjesečno za mrvice procesorske snage. Hardver koji vam treba za pokretanje sopstvenog Llama 3 modela košta manje od dvije pizze mjesečno. Ako znate da ukucate tri komande, vi posjedujete inteligenciju; ako ne znate, vi je samo iznajmljujete od onih koji znaju. Vaš novac curi kroz prste svaki put kad platite API poziv koji možete besplatno vrtiti na svom jeftinom Linux VPS-u. Ova razlika u cijeni nije samo ušteda; to je granica između amatera koji troši i majstora koji gradi sopstvenu digitalnu infrastrukturu.

Gorka istina o RAM-u: Nemojte spaliti kreditnu karticu

Ako mislite da vam treba najskuplji server sa deset GPU kartica, varate se. Za pokretanje manjih, ali moćnih modela od 7-8 milijardi parametara, dovoljan vam je server sa 8GB RAM-a. Ali pazite, čim pokrenete proces, osjetićete vrelinu virtuelnih procesora. Ventilatori u data centru će zavrištati jer AI ne ‘čita’ podatke; on ih žvaće. Ako odaberete pogrešan tip servera, vaš model će raditi brzinom puža, a sistem će se srušiti čim mu postavite prvo pitanje. Jeftin deployment je moguć, ali zahtijeva hiruršku preciznost u odabiru resursa. Ne kupujte ‘general purpose’ instance. Tražite one sa optimizovanim procesorom (CPU-optimized). Osjetićete otpor sistema ako pokušate ugurati model u 4GB RAM-a – to je kao da pokušavate ugurati motor kamiona u kutiju šibica. Neće proći.

WARNING: Nikada ne pokrećite AI modele na serverima bez podešenog ‘Swap’ fajla. Bez toga, Linux kernel će nasilno ubiti vaš proces (OOM Killer) čim model popuni RAM, što može dovesti do korupcije fajlova na disku i potpunog gubitka pristupa serveru.

Zašto vam treba Linux VPS, a ne preskupi Azure

Većina početnika srlja u naručje Microsoftu ili Amazonu. To je greška koju plaćate suvim zlatom. Podešavanje Azure sistema je super za korporacije, ali za vas je to nepotreban sloj birokratije. Vama treba goli metal ili čisti VPS. Ja sam proveo 40 minuta rveći se sa dozvolama na cloudu samo da bih shvatio da mi port 11434 ostaje blokiran. Na čistom Debian ili Ubuntu serveru, vi ste bog i batina. Sve što vam treba je SSH pristup. Kada se ulogujete i vidite onaj treperavi kursor, to je miris svježe piljevine u vašoj digitalnoj radionici. Tu nema ‘seamless’ integracija – ima samo vas, terminala i sirove snage koda.

Instalacija Ollama: Tri komande koje mijenjaju sve

Zaboravite na komplikovano kompajliranje Python biblioteka koje traje satima. Koristićemo Ollama sistem. To je kao da koristite gotov kalup za beton – samo sipate i čekate da se stvrdne. Prvo, povucite skriptu direktno sa neta. Čućete kako vaš hard disk ‘ore’ dok preuzima binarne fajlove. Jednom kada ukucate `ollama run llama3`, model će se učitavati u memoriju. Taj trenutak tišine, dok procesor udara u 100% opterećenja, je test vašeg servera. Ako niste dobro zategli vijke na konfiguraciji, tu će sve pući. Deployment bez bugova zavisi od toga koliko ste strpljivi dok čekate da se preuzme onih 4.7GB podataka. Nemojte prekidati proces. Ako ga prekinete, ostaće vam ‘gunk’ u fajl sistemu koji ćete poslije morati čistiti satima.

Da li mi stvarno treba grafička kartica?

Ne mora. Za amaterske potrebe i učenje, CPU inference je sasvim dovoljan. Da, biće sporije. Da, moraćete sačekati sekundu-dvije da model počne ‘pljuvati’ tokene. Ali to je cijena učenja. Razlika između CPU i GPU rada je kao razlika između ručne pile i stone testere. Obje će presjeći dasku, ali jedna zahtijeva više znoja. Ako planirate hostovati AI model za mali biznis, držite se CPU-a dok ne zaradite dovoljno za ozbiljan hardver.

Anatomija katastrofe: Šta se desi kad preskočite sigurnost

Najveća greška koju ćete napraviti je ostavljanje servera otvorenog prema svijetu. Ako ne zaključate SSH i ne koristite ključeve umjesto lozinki, vaš server će postati leglo botova za manje od 5 minuta. Gledao sam kako server od 100 dolara biva spaljen do temelja jer je vlasnik koristio lozinku ‘123456’. To nije samo nepažnja; to je poziv na digitalno samoubistvo. Vaš AI model će početi da ‘halucinira’ ne zato što je glup, već zato što mu neko sa strane crpi resurse za rudarenje kriptovaluta. Popravite halucinacije odmah tako što ćete osigurati da samo vi imate pristup procesima.

Kako provjeriti da li model ‘diše’?

Koristite komandu `htop`. Ako vidite da su svi procesori u crvenom, a RAM je skoro pun, to je dobar znak. To znači da mašina radi. Ako je sve mirno, a vi ne dobijate odgovor, negdje ste ‘zaglavili’ port. Vjerovatno firewall. Mrzim firewalle, ali oni su kao zaštitne naočale u radionici. Smetaju dok ih nosite, ali čuvaju oči.

Zašto Docker nije samo za programere

Docker je kutija u koju stavljate svoj alat da se ne bi pobrkao sa ostalim stvarima u garaži. Ako instalirate sve direktno na operativni sistem, napravićete haos koji niko ne može očistiti. Jedna pogrešna verzija biblioteke i vaš model će prestati raditi, a vi nećete znati zašto. Docker izoluje sve. Slather-ujte te kontejnere po serveru bez straha. Ako nešto krene po zlu, samo obrišete kontejner i krenete ispočetka. To je čista, hirurška metoda rada koja razdvaja majstore od onih koji samo ‘krpe’ sisteme.

Fizika VRAM-a: Zašto AI ‘puca’ pod pritiskom

Kada model radi, on vrši milijarde matematičkih operacija u sekundi. To stvara toplotu, ne samo fizičku, već i logičku. Ako nemate dovoljno VRAM-a (ili običnog RAM-a u našem slučaju), podaci moraju da se ‘sele’ sa diska u memoriju stalno. To se zove ‘thrashing’. To je onaj iritirajući zvuk drljanja po disku koji vam govori da ste pretjerali. Moj stariji kolega iz struke mi je jednom rekao: ‘Ne možeš sipati litar vode u čašu od dva decilitra, bez obzira koliko je tvoja AI pametna’. Zapamtite to kad pokušate pokrenuti Llama 3 70B na serveru od 10 dolara. Neće ići. Puknuće. I to glasno.