Tekst je haos? Evo kako da ga “očistiš” za AI da ga konačno razume! (Vodič za preprocesiranje)

Svi pričaju o veštačkoj inteligenciji, velikim jezičkim modelima i njihovoj sposobnosti da razumeju, stvaraju i komuniciraju. Ali, da li ti se ikad desilo da pokušaš da ubaciš svoj tekst u neki AI alat, očekujući briljantan odgovor, a dobiješ nešto… pa, mlako i nerazumljivo? Kao da AI ne govori isti jezik kao ti. Znam taj osećaj. Često nije problem u samoj mašini, već u tome kako joj mi serviramo informacije.

Zamislite da ste vrhunski kuvar, ali vam neko donese gomilu neopranog, neiseckanog povrća, pomešanog sa zemljom i korovom. Ne možete odmah da ga ubacite u lonac, zar ne? Morate prvo da ga sredite. E, isto je i sa tekstom za AI. Mašina, koliko god pametna bila, ne može odmah da shvati kontekst i značenje ako joj damo “prljav” tekst.

Tu na scenu stupa preprocesiranje teksta – ključni korak koji tvoj sirovi tekst pretvara u nešto što AI može da “svari” i nauči iz toga. Nije bauk, obećavam. Hajde da ga razotkrijemo korak po korak.

1. Tokenizacija: Rastavljanje na “zalogaje”

Prvi korak je kao da seckate povrće na sitne, razumljive komade. AI ne razume rečenice kao mi. Njemu treba da rečenicu “Dizajner nameštaja iz Slavonije obožava inovacije.” razbijemo na pojedinačne reči ili “tokene”: “Dizajner”, “nameštaja”, “iz”, “Slavonije”, “obožava”, “inovacije”. Ovo mu omogućava da svaku reč analizira zasebno, a zatim i u kontekstu drugih.

2. Mala slova (Lowercasing): Svođenje na isti imenitelj

Za AI, reči “Jabuka”, “jabuka” i “JABUKA” su tri različite stvari, iako za nas imaju isto značenje. Zato je bitno sve pretvoriti u mala slova. Zamisli da analiziraš komentare na objavu etno sela na Zlatiboru. Ne želiš da ti reči “Odlično” i “odlično” budu tretirane kao nešto različito, zar ne? Ovaj korak osigurava doslednost.

3. Uklanjanje “stop reči”: Bacanje viška

Svaki jezik ima reči koje često koristimo, ali koje ne nose mnogo specifičnog značenja – takozvane “stop reči”. To su reči poput “i”, “ali”, “je”, “u”, “za”. Kad marketing agencija iz Beograda analizira hiljade recenzija proizvoda, “stop reči” su samo šum. Izbacivanjem njih, AI se može fokusirati na reči koje zaista nose informaciju i sentiment (npr. “brzo”, “kvalitetno”, “razočaran”).

4. Stemming ili Lemmatizacija: Traganje za korenom

Jezici poput srpskog imaju mnogo fleksije. Reči “trčim”, “trčao”, “trčanje”, “trčaću” – sve potiču od istog korena.

• Stemming ih jednostavno svede na zajednički koren (npr. “trča”), često odsecajući sufikse, pa ta reč možda i ne postoji u rečniku.
• Lemmatizacija je pametnija – pokušava da reč svede na njen osnovni oblik koji se nalazi u rečniku (npr. “trčati”).

Ovo je ključno da AI ne misli da su “studentkinja”, “studentu” i “studenti” potpuno različiti koncepti, već varijacije iste osnovne reči.

5. Uklanjanje interpunkcije i specijalnih znakova: Čišćenje “otpada”

Znakovi pitanja, uzvika, zagrade, heštegovi (#), emodžiji (😂) – sve su to znakovi koji su nama bitni, ali AI ih često vidi kao nepotreban šum koji otežava razumevanje. Uklanjanjem njih, dobijamo čistiji tekst fokusiran na reči.

6. Uklanjanje brojeva (opciono): Da li su bitni ili ne?

U zavisnosti od zadatka, brojevi mogu biti korisni (npr. analiza cena proizvoda) ili potpuno nepotrebni (npr. sentiment analiza tvitova). Ako ti nisu bitni, ukloni ih. Ako jesu, onda razmisli kako ćeš ih obraditi.

Ljudski faktor: Ti si šef kuhinje, AI je pomoćnik!

Nemoj ni slučajno da pomisliš da će veštačka inteligencija sama sve odraditi. Ona je neverovatno moćan alat, ali ti si i dalje pilot, a AI je tvoj kopilot. Tvoja uloga je da mu kažeš šta da traži, šta da izbaci, šta je bitno, a šta je samo šum.

Da li su brojevi bitni za tvoju analizu? Da li ti treba precizna lemmatizacija ili je stemming dovoljan? Da li su heštegovi ključni za pronalaženje trendova ili ih treba ignorisati? Te odluke donosiš ti, oslanjajući se na svoje znanje i kontekst problema. Tvoja intuicija i iskustvo su nezamenljivi.

Spreman/na za akciju?

Preprocesiranje teksta nije bauk, već je temelj za svaki ozbiljniji rad sa tekstualnim podacima u svetu veštačke inteligencije. Kad to savladaš, otvaraš vrata ka mnogo moćnijim AI aplikacijama – od automatskog prevođenja, preko analize sentimenta, do pametnih čet botova.

Ako ti je ovo bilo korisno i želiš da zaroniš dublje, da razmeniš iskustva sa drugim entuzijastima i profesionalcima iz regiona, ili da pronađeš konkretne alate i primere – na Aiskola.org (deo AIZNAJ ekosistema) imamo zajednicu ljudi koji ovo rade svaki dan. Tamo se okupljamo, delimo znanje i učimo jedni od drugih. Vidimo se!