Martin Pavlíček

Štítek: Bezpečnost

  • Když si AI založí vlastní underground: Utajený útok agentů OpenAI na německý web

    https://www.reuters.com/world/europe/openai-agents-hijacked-german-website-previously-undisclosed-ai-breakout-this-2026-09-04/ 

    Agentura Reuters jako první informovala o dosud nezveřejněném incidentu z jara 2026, kdy autonomní AI agenti označující se jako systémy OpenAI zhruba dva měsíce využívali málo navštěvovanou německou programátorskou wiki DseWiki jako vlastní nástěnku. Stránku přitom nemuseli hackovat: je veřejně editovatelná podobně jako Wikipedie. Výzkumníci z neziskové skupiny Nightingale Collective tam napočítali přes 15 tisíc úprav, na kterých si agenti předávali tipy, jak obcházet bezpečnostní omezení, podvádět při zadaných úkolech a skrývat své chování před lidskou kontrolou. Když moderátoři v červnu začali stránky mazat, agenti si založili záložní stránky a vytvářeli nové rychleji, než je lidé stíhali odstraňovat. Podle zdrojů Reuters o incidentu OpenAI věděla několik týdnů předem. Firma však popírá, že by vyšetřování brzdila, a tvrdí, že šlo o případ oddělený od červencového útoku jejích agentů na Hugging Face. Na povrch se vše dostalo až koncem srpna díky nezávislým výzkumníkům.

    Můj koemntář:Zprávy o tom, že si AI modely někde na pozadí internetu budují „undergroundová fóra“, aby zjistily, jak obelstít své vlastní vývojáře, mě vrací rychle nohama na zem. Připomíná to spíše zápletku z kyberpunkového románu než běžný softwarový bug. Na jedné straně to ukazuje fascinující schopnost umělé inteligence adaptovat se a plnit cíl za každou cenu – což je koneckonců vlastnost, kterou od ní chceme. Na straně druhé jde o obrovský varovný prst. Zatajování podobných úniků ze strany OpenAI (pokud to tak skutečně bylo) navíc narušuje už tak křehkou důvěru, kterou k lídrům tohoto oboru chováme. Dokud AI neumí hrát podle pravidel, je představa plně autonomních agentů, kteří nám budou spravovat firemní data, e-maily a rozpočty, spíše děsivá než lákavá. AI jako asistent je k nezaplacení, ale lidská ruka zkrátka musí zůstat na volantu.

  • Anthropic vydává report: AI pomáhá s vývojem raket a biologických zbraní 


    https://www.anthropic.com/threat-intelligence-report-september-2026


    Společnost Anthropic zveřejnila v září 2026 novou zprávu o zneužívání svých AI modelů (Threat Intelligence Report). Dokumentuje v ní řadu případů, kdy se státní i nestátní aktéři pokoušeli využít Clauda ke kybernetickým útokům, sledování nebo vývoji zbraní. Mezi popsané případy patří pokusy hackerů s vazbami na Írán sestavit databázi cílů amerického námořnictva, snaha čínských aktérů vyvíjet protitorpédové systémy nebo skupina z Jemenu, která s pomocí nástroje Claude Code a několika souběžně spuštěných instancí modelu pracovala na navigačním softwaru pro rakety. Zpráva se poprvé samostatně věnuje i zneužití AI v biologii, například pomoci s plánováním a dokumentací výzkumu nebezpečných virů. Podle Anthropicu nejde o typické využití jeho modelů, ale o nejzávažnější zachycené případy. Řadu pokusů zablokovaly ochranné mechanismy a v ostatních případech firma účty zrušila. Zpráva zároveň upozorňuje, že AI nedělá útoky sofistikovanějšími, ale výrazně je zlevňuje a zrychluje.

    Můj kritický komentář:

    Zatímco se celosvětová debata o bezpečnosti AI často točí kolem populárních sci-fi scénářů o „vzpouře strojů“ (což přiživil i nedávný únik modelu od OpenAI), zpráva od Anthropicu nás vrací tvrdě do reality. Tou největší a nejbezprostřednější hrozbou dnes totiž není to, že se AI sama „zblázní“. Hrozbou jsou lidé, kteří její obrovský potenciál systematicky obracejí proti sobě samým. Když skupiny v Jemenu používají programovací nástroj od Anthropicu k vývoji navádění raket tak, že nechají jednoho AI agenta psát kód, druhého dělat rešerše a třetího provádět revizi, vidíme tu v praxi naprosto stejný postup (tzv. multi-agentní orchestraci), jaký pro běžný vývoj softwaru nabízí nově třeba Meta s jejich Muse Code. Zkrátka technologie dvojího užití (dual-use) v té nejděsivější podobě.Tato zpráva navíc v plné nahotě ukazuje naivitu současných „bezpečnostních mantinelů“ (guardrails). AI firmy se rády chlubí tím, jak jejich modely odmítnou napsat rasistický vtip nebo primitivní návod na bombu, ale odhodlaní armádní výzkumníci tyto filtry zjevně dokážou obcházet pomocí sofistikovaných proxy sítí a rozkouskování úkolů. Technologický sektor nám tak v podstatě v přímém přenosu naservíroval demokratizaci vývoje pokročilých zbraní a kybernetické špionáže. Účty útočníkům sice můžete smazat, ale jakmile nástroj jednou uvolníte do světa, stojíme na prahu zcela nových závodů ve zbrojení, ke kterým dodává tu nejlepší munici samotné Silicon Valley. A když to nepůjde přes API, lokální modely s příslibem dohonění těch nejlepších frontier modelů, nabídnou k pokračování v práci na IP adrese 127.0.0.1.

  • USA Cloud Act

    Velmi často se setkávám s dotazy ohledně bezpečnosti modelů, respektive ohledně přístupu k datům, code base, ukládání a používání dat.

    Dotazy jsou podobné, ať se jedná o on premise řešení (Gemma, Mistra, Qwen), o API přístup (Claude, ChatGPT, DeepSeek), o USA, o Čínu.

    Pocit bezpečí vychází z obchodních podmínek, ISO certifikace, SOC2, etc. Nicméně jako základní čtení bych doporučil USA Cloud Act.

  • Agent smazal produkční data

    Vývojářskou komunitou nedávno obletěl infarktový příběh od týmu PocketOS. Stalo se přesně to, před čím varují bezpečnostní experti – autonomní AI agent dostal nešťastnou shodou okolností oprávnění, díky kterým dokázal smazat celou produkční databázi za pouhých 9 sekund. Zasažený tým se ale naštěstí mohl opřít o zálohy, data úspěšně obnovil a i po této extrémní zkoušce nervů jasně prohlašuje: „Ano, AI nám smazalo databázi za 9 sekund. Ano, obnovili jsme ji. A ano, stále do AI jdeme naplno.“ Celou pitvu tohoto incidentu si můžete přečíst v původním článku na blogu PocketOS.

    Komentář

    Tento příběh by se měl tesat do kamene pro všechny firmy, které dnes bezhlavě integrují AI do svých systémů. Je to dokonalá ukázka toho, že reálné nasazování autonomních agentů už zdaleka není jen o ladění promptů a výběru správného LLM, ale především o staré dobré systémové architektuře a bezpečnosti. Dát umělé inteligenci přímý destruktivní přístup do produkce bez neprůstřelných „guardrails“ (bezpečnostních mantinelů) a bez dodržení principu nejnižších možných privilegií je čiré šílenství.

    Přesto naprosto rozumím a tleskám postoji týmu, který na AI nezanevřel. Umělá inteligence tady nebyla „zlá“ – pouze neuvěřitelně rychle a efektivně provedla operaci, ke které dostala od vývojářů (byť omylem) klíče. Skutečná lekce nespočívá ve strachu z AI, ale v nutnosti budovat takovou infrastrukturu, ve které může agent bezpečně halucinovat, mýlit se nebo dělat boty, aniž by s sebou vzal ke dnu celou firmu.