Ještě před pár lety zněla debata o autonomních zbraních jako vzdálená kapitola ze sci-fi. Nicméně já již několik let při svých veřejných vystoupeních poukazuji na perspektivu, že člověka snadn zabije dron…
Kde jsme nyní? Stroje, které samy vyhledají cíl, samy se rozhodnou a samy zabijí člověka? To přece patří do filmů, ne do reálného světa. Jenže podle posledních zpráv jsme možná právě překročili hranici, za kterou už nejde jednoduše couvnout.
New Scientist upozornil na případ z války na Ukrajině, kde měly být použity plně autonomní drony schopné útočit bez přímého lidského řízení. Nešlo tedy jen o klasický FPV dron, u kterého sedí operátor a v poslední chvíli rozhoduje, kam stroj pošle. Podle dostupného popisu šlo o situaci, kdy člověk určil prostor, aktivoval systém — a pak už nechal stroj jednat.
A právě tady podle mě začíná zásadní problém.
Technicky vzato se dá takový vývoj pochopit. Bojiště je dnes přesycené rušením, komunikace s drony se přerušuje, optická vlákna jsou drahá a zranitelná, operátoři jsou přetížení. Autonomie se proto nabízí jako logický další krok. Dron, který nepotřebuje spojení s pilotem, který si poradí sám a který dokončí úkol i v elektronicky zarušeném prostředí, je z vojenského pohledu extrémně lákavý.
Jenže vojenská efektivita není totéž co morální legitimita.
U běžné zbraně můžeme — alespoň teoreticky — ukázat na člověka, který rozhodl. Velitel vydal rozkaz. Operátor stiskl spoušť. Stát nese odpovědnost. U autonomního systému se tahle odpovědnost začíná rozpíjet. Kdo vlastně zabil? Programátor, který napsal algoritmus? Firma, která dodala model rozpoznávání objektů? Velitel, který vymezil oblast? Politik, který povolil nasazení? Nebo samotný stroj, který právně a morálně nemůže nést odpovědnost vůbec?
Podle mě je nejnebezpečnější právě tahle mezera. Ne to, že se stroj „utrhne ze řetězu“ jako ve špatném akčním filmu. Skutečný problém je mnohem obyčejnější: že systém bude fungovat přesně tak, jak byl navržen. Jen v prostředí, které je chaotické, neúplné, špatně čitelné a plné situací, které žádný trénovací dataset nemůže dokonale pokrýt.
Rozpoznat člověka na bojišti není totéž jako rozpoznat kočku na fotografii. Válka je plná zraněných, vzdávajících se vojáků, civilistů, zmatku, klamných cílů, kouře, špatného počasí a neúplných informací. Model může vyhodnotit tvar, pohyb, tepelnou stopu nebo kontext. Ale nerozumí lidské situaci. Neví, co je strach. Neví, co je kapitulace. Neví, co je pochybnost. A hlavně: nemá svědomí.
Já si nemyslím, že řešením je zastavit veškerý vývoj vojenské AI. To by bylo naivní. Armády budou AI používat dál — pro průzkum, analýzu obrazu, navigaci, ochranu proti dronům, logistiku i podporu rozhodování. V mnoha případech může AI dokonce snížit riziko pro civilisty, pokud pomůže lépe vyhodnotit situaci nebo zpřesnit zásah.
Ale mezi „AI pomáhá člověku rozhodnout“ a „AI sama rozhoduje, kdo zemře“ je obrovský rozdíl.
Tahle hranice se nesmí ztratit v technickém slovníku. Výrazy jako „human-in-the-loop“, „human-on-the-loop“ nebo „last-mile autonomy“ znějí odborně a neutrálně. Jenže za nimi je velmi jednoduchá otázka: je u rozhodnutí o zabití konkrétního člověka ještě skutečně přítomen člověk? Ne formálně. Ne někde na začátku procesu. Ale reálně, informovaně a s možností říct ne.
Pokud odpověď zní ne, pak jsme podle mě v úplně nové kategorii války.
Autonomní zbraně navíc snižují psychologickou cenu násilí. Když stát může poslat levné stroje místo vlastních vojáků, pokušení použít sílu může růst. Když se útok zrychlí na tempo algoritmu, prostor pro pochybnost se zmenší. A když bude podobné systémy možné vyrábět masově, dostaneme se do světa, kde zabíjení nebude jen automatizované, ale také škálovatelné.
To je slovo, které mě na tom děsí nejvíc: škálovatelnost.
V softwaru je škálovatelnost ctnost. Znamená, že systém zvládne milion uživatelů místo tisíce. V e-commerce je to skvělé. V cloudu také. Ale u zbraní znamená škálovatelnost něco úplně jiného: možnost rozšířit smrt rychleji, levněji a s menším počtem lidí v rozhodovacím řetězci.
A tady bychom měli být mimořádně opatrní.
Podle mě potřebujeme jasné mezinárodní pravidlo: stroj nesmí sám vybírat a napadat lidské cíle. AI může radit, filtrovat, navigovat, upozorňovat, chránit. Ale rozhodnutí o použití smrtící síly proti člověku musí zůstat lidské. Ne proto, že lidé rozhodují vždy správně. Historie ukazuje, že ne. Ale proto, že odpovědnost, vina, soucit a morální úsudek jsou lidské kategorie. Jakmile je přesuneme na stroj, nezískáme objektivitu. Získáme jen pohodlnější způsob, jak se odpovědnosti zbavit.
AI s povolením zabíjet není technologický milník, který bychom měli oslavovat. Je to varovný signál. Ukazuje, že debata o regulaci autonomních zbraní už nemůže být akademická a pomalá. Technologie se posunula z prezentací a prototypů na bojiště.
A jakmile se něco objeví na bojišti, málokdy to tam zůstane jednorázově.
Podle mě teď nejde o to, jestli autonomní zbraně budou existovat. Ony už existují, minimálně v různých stupních autonomie. Jde o to, jestli ještě dokážeme udržet hranici mezi nástrojem a vykonavatelem. Mezi systémem, který člověku pomáhá, a systémem, který člověka nahrazuje v nejzávažnějším rozhodnutí vůbec.
Protože ve chvíli, kdy dáme algoritmu povolení zabíjet, neměníme jen válku. Měníme i to, co považujeme za lidskou odpovědnost.
Napsat komentář