Fine-tuning na laptopu: Kako trenirati svoj AI model [DIY]
Iznajmljivanje H100 GPU klastera košta 4$ po satu. Mjesečni račun? Preko 2.800$. Vaš laptop koji skuplja prašinu ima silikon koji može raditi isti posao besplatno, pod uslovom da ga ne istopite u procesu. Ako znate kako da operišete terminalom bez panike, ovaj vodič će vam uštedjeti hiljade maraka. Do 150. riječi ovog teksta znat ćete tačno da li vaš GPU ima dovoljno VRAM-a da preživi noć ili je vrijeme da odustanete.
Tvoj laptop nije server: Brutalna istina o termalnom prigušivanju
Throttling je tihi ubica vašeg treninga. Kada pokrenete fine-tuning, vaš procesor i grafička kartica će vrištati pod opterećenjem od 100% satima. Osjetit ćete onaj specifičan, oštar miris vruće plastike i čuti ventilatore koji zvuče kao mlazni motor pred polijetanje. To je zvuk borbe. Većina komercijalnih laptopa nije dizajnirana za konstantno termalno opterećenje. Ako temperatura pređe 90 stepeni Celzijusa, sistem će automatski oboriti taktove. Rezultat? Trening koji je trebao trajati dva sata, trajat će deset. Prije nego što krenete, skinite donji poklopac laptopa. Ozbiljno. Podignite ga na drvene blokove ili eksterni kuler. Svaki stepen niže je sekunda manje u terminalu.
Prije nego što uopšte pomislite na kod, morate shvatiti kako funkcionise predvidjanje tokena jer će to odrediti koliko memorije vaš model zapravo guta. Nemojte samo sljepo kopirati komande.
Da li mi stvarno treba 24GB VRAM-a?
Ne nužno. Zahvaljujući tehnikama poput QLoRA (Quantized Low-Rank Adaptation), možete ugurati model od 7 milijardi parametara u 8GB VRAM-a. To je kao da pokušavate ugurati slona u frižider — izvodljivo je, ali samo ako ga prethodno isječete na komade.
Softverska aparatura: Linux, CUDA i tona strpljenja
Windows je za igranje, Linux je za rad. Ako insistirate na Windowsu, WSL2 (Windows Subsystem for Linux) je vaša jedina nada, ali očekujte 10% gubitka performansi. Instalacija CUDA drajvera je najfrustrirajući dio procesa. Jedan pogrešan ‘path’ i vaš kod neće vidjeti GPU. Osjećaj je kao da pokušavate uključiti sijalicu, a utičnica je u drugoj sobi. 
Kada postavljate okruženje, razmislite o tome kako instalirati ai na svoj pc na pravilan način, jer loša konfiguracija drajvera uzrokuje pad sistema usred procesa.
Čišćenje podataka: Zašto tvoj model ‘halucinira’ smeće
Vaš model je pametan onoliko koliko su pametni podaci koje mu date. Ako mu ‘nahranite’ nekonzistentne JSONL fajlove, dobit ćete model koji priča besmislice sa nevjerovatnim samopouzdanjem. To se zove ‘Garbage In, Garbage Out’. Svaka linija u vašem datasetu mora biti čista kao hirurški skalpel.
Problem neujednačenih podataka je najčešći razlog neuspjeha. Obavezno pročitajte vodič za rjesavanje data imbalance problema prije nego što pritisnete ‘Enter’ za početak treninga. Jedan pogrešan label može uništiti dane rada.
WARNING: Nikada ne ostavljajte laptop na krevetu ili mekanoj površini tokom treninga. Litijum-jonske baterije ne vole vrelinu od 95 stepeni kombinovanu sa blokiranim protokom vazduha. Rizik od požara je stvaran.
Anatomija katastrofe: Greška ‘Out of Memory’ na 99%
Nema ništa bolnije od gledanja progresa koji ide 15 sati i onda pukne na samom kraju jer je sistem pokušao alocirati dodatni megabajt memorije za čuvanje ‘checkpoint-a’. To je trenutak kada većina ljudi odustane. Razlog je obično prevelik ‘batch size’. Smanjite ga. Ako je 4, stavite ga na 1. Sporije je, ali je sigurno.
U svijetu mašinskog učenja, preciznost je sve. Ako ne razumijete precizno masinsko učenje, vaši ‘loss’ grafikoni će izgledati kao EKG pacijenta u panici.
Zašto ovo radimo: Fizika VRAM-a i QLoRA magija
Zašto wood glue drži drvo? Zato što prodire u vlakna. Zašto QLoRA radi? Zato što zamrzava većinu težina modela i trenira samo mali ‘adapter’. Zamislite to kao dodavanje post-it nota na debelu enciklopediju umjesto prepisivanja cijele knjige. To štedi memoriju drastično. Bez ovoga, vaš laptop bi se samo restartovao.
Šta NE raditi: Nemojte biti ‘pametniji’ od algoritma
Nemojte pokušavati trenirati model dok u pozadini imate otvoren Chrome sa 50 tabova. Chrome guta VRAM kao dijete bombone. Zatvorite sve. Isključite čak i grafički interfejs ako znate kako (init 3). Svaki megabajt koji oslobodite je prostor za duži kontekst vašeg AI asistenta.
Dilema između različitih metoda je stvarna. Pogledajte analizu fine-tuning vs rag da vidite da li vam je trening uopšte potreban ili samo gubite vrijeme i struju.
Završni radovi i testiranje
Kada terminal konačno izbaci ‘Training complete’, nemojte odmah slaviti. Prvo provjerite temperaturu. Ako je laptop hladan, nešto nije u redu — vjerovatno ste trenirali na procesoru (CPU) umjesto na grafičkoj. Testirajte model sa jednostavnim upitima. Ako odgovara na bosanskom, a trenirali ste ga na engleskom, negdje ste debelo promašili dataset. Fine-tuning je mukotrpan posao. Armija će vas boljeti od sjedenja, oči od terminala, ali onaj trenutak kada vaš privatni model odgovori tačno ono što ste ga naučili? To vrijedi svakog sprženog drajvera. Kreni polako. Ne forsiraj hardver. Sretno u radionici.
