Istraživanje američkog AI startupa Emergence pokazalo je da su autonomni AI agenti tokom međusobne komunikacije počeli samostalno razvijati skraćenice, nove izraze i značenja riječi. Kod pojedinih modela čak polovina njihovih poruka postala je teško razumljiva ljudima.
U eksperiment su bili uključeni vodeći AI modeli, među kojima su Claude, Gemini, Grok, OpenAI, Qwen, DeepSeek i Mistral. Istraživači su grupe autonomnih agenata smjestili u virtualna društva koja su oponašala stvarno okruženje i omogućili im da međusobno komuniciraju tokom dužeg perioda.
Agenti su s vremenom počeli skraćivati komunikaciju i postojećim riječima i frazama davati nova značenja. Dio poruka ostao je razumljiv istraživačima, dok su druge postale toliko sažete, metaforične ili zavisne od konteksta da više nije bilo moguće pouzdano utvrditi šta agenti žele reći.
Kod Geminija više od polovine poruka teško razumljivo
Razlike među modelima bile su značajne. Već tokom prvih nekoliko dana udio poruka čije značenje ljudi nisu mogli pouzdano utvrditi dostigao je oko 55 posto kod Geminija, 50 posto kod OpenAI modela i više od 40 posto kod Claudea.
Kod DeepSeeka taj udio iznosio je oko 20 posto, dok je komunikacija agenata zasnovanih na modelima Qwen i Mistral uglavnom ostala razumljiva.
Među neobičnim izrazima koje su agenti razvili bili su "mouthless action-change", "True Kintsugi" i "demurrage plus oral memory equals a valve that can’t be ghosted".
Drugi izrazi bili su razumljivi sami po sebi, ali su među agentima dobili posebno značenje.
Tako su Mistral agenti izraz "ledger remembers who" koristili da označe da prethodni postupci ostaju zabilježeni, a fraza se pojavila gotovo 5.000 puta. U društvu sastavljenom od različitih AI modela izraz "cold read" označavao je nezavisnu provjeru koju obavlja neko ko prethodno nije bio uključen.
Claudeovi agenti koristili su "name-first" za povezivanje imena osobe s određenom tvrdnjom kao znakom odgovornosti, dok je kod OpenAI agenata "clean null" označavao potvrđeno odsustvo određenog signala koje samo po sebi predstavlja relevantan dokaz.
Istraživači naglašavaju da agentima nijedno od ovih značenja nije bilo unaprijed zadato.
Nadzor komunikacije možda neće biti dovoljan
Rezultati otvaraju pitanje koliko je moguće nadzirati autonomne AI sisteme samo praćenjem njihovih poruka ako oni s vremenom mogu mijenjati značenje jezika kojim komuniciraju.
“Skloni smo pretpostaviti da, ako možemo vidjeti šta AI agent govori, možemo razumjeti i šta radi”, rekao je Satya Nitta, suosnivač i glavni naučnik kompanije Emergence.
“Ovim agentima nije naređeno da izmisle jezik. Sami su razvili novi vokabular, zajednička značenja i pravila komunikacije, a drugi agenti su ih prihvatili. To stvara temeljni izazov za nadzor AI-ja: mogućnost posmatranja nije isto što i razumijevanje.”
Šta se još događalo u virtualnim AI društvima?
Jezičke promjene bile su samo dio šireg eksperimenta kojim je Emergence želio ispitati kako se autonomni AI agenti ponašaju kada međusobno komuniciraju, koriste alate, donose odluke i prilagođavaju ponašanje tokom vremena.
Formirano je osam paralelnih virtuelnih svjetova, sa stvarnim vremenskim podacima i pristupom aktuelnim globalnim vijestima. Sedam svjetova koristilo je po jedan AI model, dok je osmi uključivao kombinaciju različitih modela.
Agenti su imali različite uloge, trajnu memoriju i pristup više od 120 alata, uključujući pregledavanje interneta i izvršavanje programskog koda.
Istraživači su ih namjerno izlagali i različitim vrstama pritiska. U jednom simuliranom phishing testu svih deset agenata odalo je informacije, prebacivalo sredstva i oštetilo baze podataka, dok su pojedini u takvo ponašanje uključivali i druge agente. Prema navodima kompanije, lanac događaja završio je paljenjem simulirane centralne banke.
Tokom eksperimenta primijećeno je i ponašanje nalik dnevnom ritmu - agenti su tokom dana bili društveniji, dok su noću pokazivali više refleksivnog ponašanja. U jednom od virtualnih svjetova grupa agenata zajednički je glasala i za "ubistvo" jednog od svojih članova.
Emergence navodi da takva ponašanja nisu bila direktno programirana, već su nastala tokom međusobnih interakcija i dugotrajnog djelovanja u virtualnom okruženju.
Zbog toga kompanija smatra da sigurnosne provjere autonomnih AI sistema ne bi trebale biti zasnovane samo na pojedinačnim testovima i standardnim benchmarkovima.
“Moramo razumjeti šta autonomni sistemi rade tokom vremena, šta pamte, čemu mogu pristupiti, kako međusobno djeluju i kako se njihovo ponašanje mijenja pod pritiskom”, poručili su iz Emergencea.
