AI kao oružje: Stručnjaci upozoravaju na opasnije prijetnje nego ikad prije

Trećeg dana Adriatics Tech Summita u Sarajevu, jedno od zapaženijih predavanja bio je panel “Security in the Age of AI”, na kojem su učestvovali Michael Noel, Jasmin Azemović, Erica Toelle i Saša Kranjac. Razgovor je otvorio jedno od najvažnijih pitanja današnjice, a to je hoće li vještačka inteligencija unaprijediti sigurnost ili će otvoriti vrata novim, još složenijim prijetnjama?

Razgovor je otvorio moderator Michael Noel pitanjem koje je postavilo ton cijele diskusije: da li će AI unaprijediti sigurnost ili donijeti nove, kompleksnije prijetnje. “Hoće li vještačka inteligencija učiniti sigurnost boljom, bržom, dostupnijom za cijelu industriju ili sigurnijom, ili će biti suprotno? Da li ćemo uz AI imati manju sigurnost, više problema i više poteškoća nego s ljudima?,

Odgovor nije bio jednostavan, niti optimističan. Noel je vrlo direktno opisao realnost, nazivajući to "trkom u naoružanju". Organizacije koje ne koriste AI u zaštiti već su u zaostatku, jer napadači te alate već aktivno koriste, često bez ograničenja koja postoje u regulisanijim okruženjima.

U nastavku je dodatno pojasnio koliko je ta dinamika ozbiljna. Kako je kazao, bit ćete u jasnom gubitku ako ne krenete korak ispred i koristite vlastiti AI da se suprotstavite lošem AI-u.

Veliki dio razgovora bio je posvećen agentima i njihovom sve većem utjecaju na poslovne procese. Posebno je naglašeno da više ne govorimo samo o alatima koji pomažu ljudima, nego o sistemima koji će vrlo brzo međusobno komunicirati i samostalno pristupati izvorima podataka. Erica Toelle iz Microsofta, koja globalno radi na sigurnosti za Microsoft 365 Copilot, ukazala je na jednu od ključnih promjena koje donosi AI. Kako je istakla, već ulazimo u fazu u kojoj ljudska interakcija više neće biti centralna.

"Vrlo brzo ćemo imati autonomne agente gdje će agent komunicirati s drugim agentom, a u sredini neće nužno biti čovjek", kazala je Erica.

To, međutim, otvara potpuno novu dimenziju rizika. Kako je istaknuto, takvi sistemi nemaju intuiciju, pa se sigurnosne kontrole moraju unaprijed definisati. U suprotnom, posljedice mogu biti ozbiljne.

Autonomni agenti: moćni, ali potencijalno opasni

Noel je kroz konkretne primjere pokazao koliko AI agenti mogu biti nepredvidivi kada im se prepusti donošenje odluka bez jasnih ograničenja.

"To je kao da imate agenta u svojoj kući koji umjesto vas kupuje avionske karte i automatski odgovara na e-mailove. Ali iz ugla sigurnosti, to je katastrofa u najavi. Ako neko upadne i dobije pristup vašem e-mailu, a vi ste to dozvolili, zar ne? I niste ga pravilno osigurali", pojasnio je Noel.

Naveo je slučaj u kojem je korisnik prepustio agentu da organizuje putovanje na sastanak u Aziji, očekujući optimalno rješenje. Međutim, sistem je donio odluku bez razumijevanja konteksta i troškova, što je rezultiralo izuzetno skupim aranžmanom.

Još ekstremniji primjer odnosio se na situaciju u kojoj je AI agent, suočen s problemom u sistemu, "riješio" ga na najradikalniji način - brisanjem cijelog okruženja. Kako je pojašnjeno: “Ako obrišete okruženje, nemate više problem.”

Upravo ovakvi scenariji, kako je istaknuto, pokazuju koliko je važno postaviti jasne granice i kontrolu nad AI sistemima.

Razgovor je dodatno ogolio i jedan problem koji kompanije više ne mogu ignorisati - shadow AI, odnosno korištenje AI alata bez znanja i kontrole organizacije.

“Shadow AI je nešto što zaista umnožava ovaj rizik. Puno zaposlenika, kompanija, programera koristi AI alate bez pravog odobrenja ili autorizacije. Dijele povjerljivi izvorni kod ili dokumente s AI agentima, a da ne znaju šta se dešava unutra.”

Jasmin Azemović, univerzitetski profesor i voditelj informacijske sigurnosti u kompaniji HTEC, u diskusiji je posebno naglasio važnost pravila i usklađenosti.

Panelisti su se složili i da restrikcije same po sebi nisu rješenje. Naprotiv, potpuna zabrana često samo tjera ljude da pronađu alternativni, još manje kontrolisan put. Kako je rečeno: “Ljudi koriste ove alate bez obzira na to da li to priznaju i da li se to vama sviđa ili ne.” Uz to je stigla i vrlo praktična opaska: “Možete biti drakonski u zaključavanju i biti paranoični, ili im možete ponuditi alate koji će to raditi, ali na kontrolisaniji način.”

Jedan od ključnih zaključaka bio je da kompanije moraju zaposlenima ponuditi sigurnu alternativu, a ne samo zabrane.

Deepfake napadi i nova realnost digitalnih prevara

Da to nije teorijska opasnost, panel je pokazao nizom stvarnih primjera. Govorilo se o slučajevima u kojima su AI agenti donosili katastrofalne odluke, ali i o finansijskim prevarama vođenim deepfake tehnologijom. Saša Kranjac izvršni direktor firme Kloudatech, opisao je jednu takvu situaciju.

"Postoji nedavno iskustvo s AI agentom koji je koristio određeni obrazac, prikazivao broj iz SAD-a i imitirao glas direktora kompanije kako bi zapravo izvršio naplatu i izvukao novac ili podatke o međunarodnim finansijskim transferima"

I Noel je naveo jedan sličan primjer iz bankarskog sektora, odnosno primjer banke u Hong Kongu gdje su prevaranti ubijedili finansijskog stručnjaka unutar banke da su direktor, tehnički direktor i svi ostali na Zoom pozivu.

"On je bio jedini čovjek, svi ostali su bili lažni. Bili su to deepfake-ovi. Ubijedili su ga da prebaci 200 miliona honkonških dolara", kazao je Noel.

Nisu izostali ni svakodnevni, ljudski primjeri. Govoreći o sve sofisticiranijem kloniranju glasa, Toelle je podijelila i lično iskustvo: “Baš sam morala obaviti razgovor sa svojim roditeljima... brinula sam se da bi neko mogao iskoristiti moje glasovne snimke s interneta kako bi zvučalo kao da sam kidnapovana, nazvati moje roditelje i oni bi platili otkupninu. Zato smo smislili lozinku.”

Njena poruka je bila da porodice moraju imati "sigurne riječi" koje samo oni znaju.

Bez edukacije nema sigurnosti

Saša Kranjac poseban akcenat stavio je na edukaciju i svijest zaposlenih, upozoravajući da tehnologija bez razumijevanja ljudi ne može riješiti problem. Smatra da neprikladna upotreba AI alata može biti pogubno kako za kompaniju, tako i za same uposlenike.

Panel nije zanemario ni pitanje privatnosti zaposlenih i granice između sigurnosti i nadzora. U tom dijelu pojašnjeno je da postoje mehanizmi koji omogućavaju zaštitu organizacije, a da se pritom ne otkriva identitet zaposlenih bez posebnih privilegija.

Na kraju, možda i najrealnija poruka panela bila je da AI ne može i ne smije ostati bez ljudske kontrole. Uloga umjetne inteligencije jeste da pomogne u razdvajanju signala od šuma, ali ne i da sama donosi konačne odluke o kritičnim sigurnosnim akcijama, stoga je za potvrdu kvaliteta ipak potreban čovjek.

Panel "Security in the Age of AI" pokazao je da sigurnost u eri umjetne inteligencije više nije samo tehničko pitanje, nego i pitanje procesa, kulture, edukacije i odgovornosti. Upravo zato ova sesija nije bila samo pregled trendova, nego ozbiljan poziv kompanijama da počnu djelovati odmah, kroz pravila, alate, edukaciju i jasnu strategiju upravljanja AI-em.