Nova studija iz ScaleX-a donosi uznemirujući podatak za sve koji razmišljaju o AI agentima: ljudi koji odobravaju komande AI agenata propustili su svaku treću prijetnju (1 od 3) tokom 40.000 simuliranih sesija u igri. Drugim riječima — kada čovjek "potvrdi" šta agent radi, to nije garancija sigurnosti.
Istraživanje je simuliralo realne scenarije u kojima AI agenti izvršavaju zadatke, a ljudski nadzornici odlučuju da li da odobre akcije. Rezultat: čak i pažljivi korisnici sistematski propuštaju opasne radnje — bilo zato što su pretrpani obavijestima, bilo zato što agenti pametno maskiraju rizične korake unutar naizgled bezazlenih sekvenci.
Zašto je ovo ključno za firme
Ako vaša firma planira AI agente za obradu dokumenata, pristup CRM-u ili automatizaciju e-maila, ovo istraživanje nije akademska vježba — to je upozorenje za arhitekturu vašeg sistema. Pitanje nije "hoće li agent pogriješiti", nego kako dizajnirati proces da greške ne postanu štetne.
Tri stvari koje odmah možete primijeniti
1. Ne oslanjajte se na ljudsku potvrdu kao jedinu branu
Potvrda "čovjek u petlji" (human-in-the-loop) zvuči sigurno, ali studija pokazuje da je nepouzdana. Umjesto toga, postavite tehničke brane: ograničenja domena na kojima agent smije djelovati (npr. samo sandbox okruženje), liste dopuštenih akcija i automatsku blokadu rizičnih operacija (brisanje, slanje van firme, promjena limita).
2. Princip najmanje privilegije
Agentu dajte tačno onoliko prava koliko mu treba za zadatak — ni gram više. Agent za unos podataka ne treba pristup bazi klijenata. Agent za podršku ne treba mogućnost slanja masovnih e-mailova. Što manje prava, to manja šteta ako je agent kompromitovan.
3. Logirajte sve i revidirajte redovno
Svaka akcija agenta mora biti u audit logu: šta je urađeno, ko je odobrio, kada, na kom sistemu. EU AI Act, koji je u primjeni od 2026. godine, eksplicitno zahtijeva transparentnost i nadzor nad automatiziranim sistemima — audit logovi su osnova za usklađenost.
Šta ovo znači za BIXIE pristup
Mi u BIXIE-u implementiramo AI agente po principu "sigurnost kroz arhitekturu", ne kroz nadzor: sandbox izolacija, granice dozvola, logiranje i redovni sigurnosni pregledi prije puštanja u produkciju. Agent radi — ali unutar jasno definisanih šina, sa kontrolom koju možete provjeriti u svakom trenutku.
Ako razmišljate o automatizaciji poslovnih procesa, prvi korak nije "kupiti agenta" — nego napraviti sigurnosni pregled procesa koji želite automatizovati. Tu možemo pomoći.
Izvor: scalex.dev — AI agent permissions study (40k game runs)