Izbegni nesvesne greške u AI modelima uz ovaj brzi test
Vjeruješ svom modelu? To ti je prva greška. Većina developera misli da su algoritmi hladna, objektivna matematika koja ne griješi. Laž. AI je ogledalo tvojih najgorih navika u kodiranju, upakovano u skupi GPU proces koji ždere struju dok ti spavaš. Ako misliš da je tvoj model ‘čist’ samo zato što se kompajlira bez greške, spremi se za hladan tuš. Ovaj vodic nije teorijsko palamuđenje; ovo je inspekcija koda na terenu, gdje ćemo iščupati korijen pristrasnosti prije nego što ti sruši cijeli sistem.
Zašto ti je dataset truo: Inspekcija temelja
Dataset je kao temeljna ploča kuće. Ako u beton ubaciš smeće, cijela konstrukcija će puknuti kad udari prvi pravi teret. Većina ljudi ‘slather’ (nalijepi) podatke bez ikakve provjere, nadajući se da će model sam shvatiti šta je bitno. Neće. Model je glup onoliko koliko je tvoj CSV fajl prljav. Osjetićeš taj miris trulih podataka onog momenta kada tvoja preciznost padne na 50% čim mu zadaš nešto što nije vidio u treningu. Prva stvar koju moraš uraditi je ‘Stress-test’ korelacija. Uzmi svoj dataset i nasumično izbriši 10% najbitnijih labela. Ako model i dalje tvrdi da sve zna, imaš ‘Data Leakage’. To je kao da ostaviš upaljenu let-lampu u radionici punoj piljevine. Izgorjećeš. Siguran AI kod nije luksuz, to je osiguranje da tvoja firma ne završi na sudu zbog curenja privatnih informacija.
UPOZORENJE: Nikada ne testiraj model na podacima koje je vidio tokom treninga. To je kao da djetetu daš test sa već upisanim odgovorima. 120v struje u prstima boli manje nego što boli klijentov poziv u 3 ujutro jer je model ‘poludio’ na produkciji.
Brzi test ‘Logičkog Kratkog Spoja’: Uradi ovo odmah
Da bismo identifikovali nesvjesne greške (bias), moramo uraditi ‘adversarial’ napad na sopstveni rad. Zamisli da si inspektor koji traži razlog da zatvori gradilište. Uzmi tri najbitnije varijable i namjerno ih obrni. Ako tvoj model za predviđanje cijena nekretnina daje isti rezultat za kuću u centru i garažu u predgrađu, tvoj kod je ‘zaglavljen’ u lokalnom minimumu. To se dešava kada loše podesiš activation functions. One su kao ventili na hidraulici; ako su previše zategnuti, nema protoka informacija. Ako su prelabavi, sve curi. Don't skip this. Provjeri gradijente. Ako vidiš nule u tensorima, tvoj model je ‘mrtav’ iznutra.
Da li je moguće potpuno eliminisati predrasude?
Kratko: Ne. Možeš ih samo držati pod kontrolom. Čak i ako koristiš RNN mreže koje pamte sekvence, one će zapamtiti i tvoje greške iz prošlosti. Tvoj posao je da balansiraš težine (weights) kao što balansiraš gumu na autu. Malo odstupanje pri malim brzinama se ne osjeti, ali na produkciji, pri hiljadama zahtjeva u sekundi, tvoj sistem će se razletjeti u komade.
Anatomija jednog ‘Screw-Up-a’: Slučaj pogrešnog uzorka
Opisaću ti katastrofu. Radio sam na modelu koji je trebao da prepoznaje kvarove na alatima koristeći CNN mreže. Sve je radilo savršeno u laboratoriji. A onda smo izašli na teren. Model je svaki alat koji je bio malo prljav od ulja označavao kao ‘neispravan’. Zašto? Zato što su svi primjeri kvarova u trening setu bili masni, a ispravni alati su bili očišćeni za slikanje. Model nije naučio šta je kvar, naučio je šta je ulje. To je ‘nesvjesna greška’ koja košta hiljade dolara. Ako ne dokumentuješ svaki korak, završićeš u haosu. Koristi ovaj sablon za dokumentovanje da izbjegneš moju sudbinu.
Zašto ti treba ‘JIS’ pristup podacima (A ne obični Phillips)
U DIY svijetu, ako koristiš pogrešan šrafciger, uništićeš glavu šrafa. U AI svijetu, ako koristiš pogrešnu metriku, uništićeš povjerenje korisnika. Ako optimizuješ samo ‘Accuracy’, a tvoj dataset je debalansiran (npr. 99% zdravih i 1% bolesnih), tvoj model može biti 99% precizan tako što će svima reći da su zdravi. To je beskorisno smeće. Treba ti ‘Precision’ i ‘Recall’. To su tvoji pravi alati.
Šta raditi kada model ‘halucinira’?
Kada model počne da izmišlja stvari, obično je problem u tome što si mu dao previše slobode. Smanji ‘temperature’ parametar. To je kao da smanjuješ pritisak u bojleru prije nego što eksplodira. Podešavanje temperature je ključno za stabilnost. Ako je prevelika, model postaje kreativan tamo gdje treba da bude precizan. Rezultat? Gubitak logike. Jam (zaglavi) te parametre u sigurne zone.
Fizika kajanja: Šta se desi kad preskočiš validaciju
Voda se širi za 9% kad se smrzne i puca cijevi. Tvoj AI model se ‘širi’ kad dobije nove podatke i puca ako nisi ostavio mjesta za varijaciju. Ako ‘overfit-uješ’ model na specifičan dataset, on gubi moć generalizacije. Postaje krhak kao stara plastika na suncu. Svaki put kad dodaješ novi sloj u neuronsku mrežu, pitaš se: Da li ovo rješava problem ili samo komplikuje dijagnozu? Manje je često više. Radije imaj jednostavan linearni model koji razumiješ, nego ‘crnu kutiju’ koja radi magijom dok jednog dana ne prestane.
Završni ‘Code Check’ protokol
Kao što građevinski inspektor provjerava debljinu armature, ti moraš provjeriti distribuciju svojih predviđanja. Izvuci histogram. Ako vidiš čudne šiljke, imaš ‘bias’. Nemoj čekati da ti korisnici kažu da model ne radi za njihovu regiju ili tip podataka. Budi taj koji će ‘wrestle’ (rvati se) sa kodom dok ne postane čist. Na kraju dana, tvoja reputacija developera zavisi od toga koliko si spreman da priznaš sopstvene greške prije nego što ih algoritam pretvori u katastrofu. Kodiraj oštro, provjeravaj duplo.