Vývojářskou komunitou nedávno obletěl infarktový příběh od týmu PocketOS. Stalo se přesně to, před čím varují bezpečnostní experti – autonomní AI agent dostal nešťastnou shodou okolností oprávnění, díky kterým dokázal smazat celou produkční databázi za pouhých 9 sekund. Zasažený tým se ale naštěstí mohl opřít o zálohy, data úspěšně obnovil a i po této extrémní zkoušce nervů jasně prohlašuje: „Ano, AI nám smazalo databázi za 9 sekund. Ano, obnovili jsme ji. A ano, stále do AI jdeme naplno.“ Celou pitvu tohoto incidentu si můžete přečíst v původním článku na blogu PocketOS.
Komentář
Tento příběh by se měl tesat do kamene pro všechny firmy, které dnes bezhlavě integrují AI do svých systémů. Je to dokonalá ukázka toho, že reálné nasazování autonomních agentů už zdaleka není jen o ladění promptů a výběru správného LLM, ale především o staré dobré systémové architektuře a bezpečnosti. Dát umělé inteligenci přímý destruktivní přístup do produkce bez neprůstřelných „guardrails“ (bezpečnostních mantinelů) a bez dodržení principu nejnižších možných privilegií je čiré šílenství.
Přesto naprosto rozumím a tleskám postoji týmu, který na AI nezanevřel. Umělá inteligence tady nebyla „zlá“ – pouze neuvěřitelně rychle a efektivně provedla operaci, ke které dostala od vývojářů (byť omylem) klíče. Skutečná lekce nespočívá ve strachu z AI, ale v nutnosti budovat takovou infrastrukturu, ve které může agent bezpečně halucinovat, mýlit se nebo dělat boty, aniž by s sebou vzal ke dnu celou firmu.