Generativni AI u firmi: Smanji troškove uz pametne alate

Tvoja firma vjerovatno baca barem 400 KM mjesečno na nepotrebne pretplate za AI alate koje tvoji zaposlenici koriste samo za pisanje mailova koje niko ne čita. To je bacanje para. Ako misliš da ti treba ‘Enterprise’ licenca od 30 dolara po korisniku da bi osjetio benefite automatizacije, varaš se. Prava ušteda ne dolazi iz kupovine gotovih rješenja, već iz razumijevanja kako ‘ugurati’ lokalne modele u postojeći hardver i natjerati ih da grizu dosadne podatke dok ti piješ kafu.

Zašto ti ne treba pretplata od 30 dolara po glavi radnika

Većina firmi upada u zamku ‘sjajnih ikonica’. Kupuju licence, a ne rješenja. Realnost je surova: 90% zadataka u tvojoj kancelariji — poput klasifikacije faktura, sumiranja zapisnika ili pisanja jednostavnih skripti — može obaviti lokalni model koji ne košta ni marku nakon što ga jednom postaviš. Ali, tu je kvaka. Ako ne znaš podesiti privatnost, tvoji povjerljivi ugovori postaju hrana za treniranje tuđih modela. Ne budi taj lik. Podesi privatnost odmah i prestani hraniti korporacije svojim podacima.

VRAM Fizika: Zašto tvoj stari uredski PC ‘kašlje’

Ovdje većina amatera odustaje. Da bi pokrenuo ozbiljan AI lokalno, ne treba ti procesor od hiljadu maraka, treba ti video memorija (VRAM). To je onaj osjećaj kad pokreneš model, a ventilator na grafičkoj kartici počne da vrišti kao da će poletjeti. To je zvuk fizike. VRAM je usko grlo. Ako pokušaš ugurati model od 7 milijardi parametara u grafičku sa 4GB memorije, dobićeš ‘Out of Memory’ grešku brže nego što kažeš ‘AI’.

Iz mog iskustva, u firmi uvijek ima bar jedan stari gejmerski PC koji skuplja prašinu u ćošku. Izvuci ga. Očisti prašinu sa kulera. Ako ima karticu sa 8GB VRAM-a, čestitam, upravo si uštedio hiljade maraka na cloud procesiranju.

Anatomija zezancije: Kako smo spalili bazu podataka (skoro)

Desilo se to u utorak, oko 14h. Htjeli smo automatizovati čišćenje baze kupaca koristeći loše napisan prompt. Umjesto da ‘normalizuje’ adrese, model je odlučio da su sva polja koja ne razumije ‘višak’ i počeo ih je brisati. Srećom, imali smo backup od jutra. Lekcija: Nikada, ali nikada, ne daj AI agentu ‘write’ pristup bazi bez ljudskog nadzora u sredini (Human-in-the-loop). To izgleda ovako: AI odradi posao, izbaci CSV fajl, ti ga pogledaš, i tek onda ‘pregaziš’ bazu. Jedan klik viška štedi tri dana plakanja nad izgubljenim podacima. Nauči normalizaciju na teži način prije nego što kreneš u automatizaciju.

Da li lokalni AI stvarno štedi struju?

Kratak odgovor: Ne. Dugi odgovor: Štedi novac, ali tvoji računi za struju će blago skočiti jer grafička karta vuče 200W dok radi. Ali, uporedi to sa 2000 KM godišnje za API pozive ka OpenAI serverima. Računica je jasna. Lokalno je jeftinije. Tačka.

Zašto ‘Llama 3’ jede ‘ChatGPT’ za doručak u tvojoj kancelariji

Većina ‘stručnjaka’ na LinkedInu će ti reći da je ChatGPT nepobjediv. Lažu. Za specifične zadatke u firmi, poput čitanja tvojih internih PDF dokumenata, lokalno podešeni Llama ili Mistral modeli rade brže jer nema mrežnog kašnjenja. Nema ‘lagovanja’. Nema ‘server is busy’. Samo sirovi tekst koji izlazi na ekran brzinom kojom tvoj mozak ne može ni da čita. Kvaka je u kontekstu. Ako model ne zna tvoj interni žargon, beskoristan je. Moraš mu ‘uliti’ znanje kroz RAG (Retrieval-Augmented Generation). To nije magija, to je samo pametno pretraživanje tvojih dokumenata prije nego što postaviš pitanje modelu.

WARNING: Nikada ne unosi lozinke ili API ključeve u prompt. Čak i ako je model lokalan, logovi mogu ostati na disku u običnom tekstualnom formatu. Ako haker upadne na taj PC, tvoji ključevi su njegova karta za tvoj bankovni račun.

Zašto ti treba Python, a ne aplikacija sa prelijepim interfejsom

Svi žele ‘dashboard’. Svi žele dugmiće koji svijetle. To je za amatere. Ako hoćeš pravu uštedu, tvoj najbolji alat je Python skripta od 20 linija koda. Ona ne traži licencu, ne traži login, i radi u pozadini dok ti spavaš. Nauči osnove Pythona za vikend i prestani biti rob tuđeg softvera. Skripte su grube, nemaju ikonice, ali završavaju posao bez greške. Ja sam jednom ‘ispeglao’ 5000 faktura za manje od 10 minuta koristeći skriptu koju sam sklopio uz pomoć samog AI-ja. Osjećaj je bio kao da imam digitalnu armiju koja radi besplatno.

Mogu li AI alati zamijeniti sekretaricu?

Ne skroz. Ali mogu preuzeti 80% njenih dosadnih zadataka, poput zapisnika sa sastanaka. Umjesto da neko sjedi i hvata bilješke, koristi alat koji pretvara glas u tekst lokalno. Ovdje imaš listu alata koji ne šalju tvoje razgovore u Kinu ili Ameriku.

Budućnost je u ‘skrpanom’ hardveru

Za dvije godine, svaka firma će imati jedan ‘AI server’ u ormaru pored rutera. To neće biti skupi superkompjuter, već mašina sa tri-četiri polovne grafičke karte uvezane u jedan sistem. To je DIY duh. Slather-uj termalnu pastu na procesor, jam-uj tu grafičku u slot i gledaj kako tvoji troškovi padaju. AI nije bauk, to je samo još jedan alat u tvojoj radionici. Koristi ga pametno, ne budi ovca koju šišaju na pretplatama.