zpr\u00e1v <\/a>jsme mo\u017en\u00e1 pr\u00e1v\u011b p\u0159ekro\u010dili hranici, za kterou u\u017e nejde jednodu\u0161e couvnout.<\/p>\n\n\n\nNew Scientist upozornil na p\u0159\u00edpad z v\u00e1lky na Ukrajin\u011b, kde m\u011bly b\u00fdt pou\u017eity pln\u011b autonomn\u00ed drony schopn\u00e9 \u00fato\u010dit bez p\u0159\u00edm\u00e9ho lidsk\u00e9ho \u0159\u00edzen\u00ed. Ne\u0161lo tedy jen o klasick\u00fd FPV dron, u kter\u00e9ho sed\u00ed oper\u00e1tor a v posledn\u00ed chv\u00edli rozhoduje, kam stroj po\u0161le. Podle dostupn\u00e9ho popisu \u0161lo o situaci, kdy \u010dlov\u011bk ur\u010dil prostor, aktivoval syst\u00e9m \u2014 a pak u\u017e nechal stroj jednat.<\/p>\n\n\n\n
A pr\u00e1v\u011b tady podle m\u011b za\u010d\u00edn\u00e1 z\u00e1sadn\u00ed probl\u00e9m.<\/p>\n\n\n\n
Technicky vzato se d\u00e1 takov\u00fd v\u00fdvoj pochopit. Boji\u0161t\u011b je dnes p\u0159esycen\u00e9 ru\u0161en\u00edm, komunikace s drony se p\u0159eru\u0161uje, optick\u00e1 vl\u00e1kna jsou drah\u00e1 a zraniteln\u00e1, oper\u00e1to\u0159i jsou p\u0159et\u00ed\u017een\u00ed. Autonomie se proto nab\u00edz\u00ed jako logick\u00fd dal\u0161\u00ed krok. Dron, kter\u00fd nepot\u0159ebuje spojen\u00ed s pilotem, kter\u00fd si porad\u00ed s\u00e1m a kter\u00fd dokon\u010d\u00ed \u00fakol i v elektronicky zaru\u0161en\u00e9m prost\u0159ed\u00ed, je z vojensk\u00e9ho pohledu extr\u00e9mn\u011b l\u00e1kav\u00fd.<\/p>\n\n\n\n
Jen\u017ee vojensk\u00e1 efektivita nen\u00ed tot\u00e9\u017e co mor\u00e1ln\u00ed legitimita.<\/p>\n\n\n\n
U b\u011b\u017en\u00e9 zbran\u011b m\u016f\u017eeme \u2014 alespo\u0148 teoreticky \u2014 uk\u00e1zat na \u010dlov\u011bka, kter\u00fd rozhodl. Velitel vydal rozkaz. Oper\u00e1tor stiskl spou\u0161\u0165. St\u00e1t nese odpov\u011bdnost. U autonomn\u00edho syst\u00e9mu se tahle odpov\u011bdnost za\u010d\u00edn\u00e1 rozp\u00edjet. Kdo vlastn\u011b zabil? Program\u00e1tor, kter\u00fd napsal algoritmus? Firma, kter\u00e1 dodala model rozpozn\u00e1v\u00e1n\u00ed objekt\u016f? Velitel, kter\u00fd vymezil oblast? Politik, kter\u00fd povolil nasazen\u00ed? Nebo samotn\u00fd stroj, kter\u00fd pr\u00e1vn\u011b a mor\u00e1ln\u011b nem\u016f\u017ee n\u00e9st odpov\u011bdnost v\u016fbec?<\/p>\n\n\n\n
Podle m\u011b je nejnebezpe\u010dn\u011bj\u0161\u00ed pr\u00e1v\u011b tahle mezera. Ne to, \u017ee se stroj \u201eutrhne ze \u0159et\u011bzu\u201c jako ve \u0161patn\u00e9m ak\u010dn\u00edm filmu. Skute\u010dn\u00fd probl\u00e9m je mnohem oby\u010dejn\u011bj\u0161\u00ed: \u017ee syst\u00e9m bude fungovat p\u0159esn\u011b tak, jak byl navr\u017een. Jen v prost\u0159ed\u00ed, kter\u00e9 je chaotick\u00e9, ne\u00fapln\u00e9, \u0161patn\u011b \u010diteln\u00e9 a pln\u00e9 situac\u00ed, kter\u00e9 \u017e\u00e1dn\u00fd tr\u00e9novac\u00ed dataset nem\u016f\u017ee dokonale pokr\u00fdt.<\/p>\n\n\n\n
Rozpoznat \u010dlov\u011bka na boji\u0161ti nen\u00ed tot\u00e9\u017e jako rozpoznat ko\u010dku na fotografii. V\u00e1lka je pln\u00e1 zran\u011bn\u00fdch, vzd\u00e1vaj\u00edc\u00edch se voj\u00e1k\u016f, civilist\u016f, zmatku, klamn\u00fdch c\u00edl\u016f, kou\u0159e, \u0161patn\u00e9ho po\u010das\u00ed a ne\u00fapln\u00fdch informac\u00ed. Model m\u016f\u017ee vyhodnotit tvar, pohyb, tepelnou stopu nebo kontext. Ale nerozum\u00ed lidsk\u00e9 situaci. Nev\u00ed, co je strach. Nev\u00ed, co je kapitulace. Nev\u00ed, co je pochybnost. A hlavn\u011b: nem\u00e1 sv\u011bdom\u00ed.<\/p>\n\n\n\n
J\u00e1 si nemysl\u00edm, \u017ee \u0159e\u0161en\u00edm je zastavit ve\u0161ker\u00fd v\u00fdvoj vojensk\u00e9 AI. To by bylo naivn\u00ed. Arm\u00e1dy budou AI pou\u017e\u00edvat d\u00e1l \u2014 pro pr\u016fzkum, anal\u00fdzu obrazu, navigaci, ochranu proti dron\u016fm, logistiku i podporu rozhodov\u00e1n\u00ed. V mnoha p\u0159\u00edpadech m\u016f\u017ee AI dokonce sn\u00ed\u017eit riziko pro civilisty, pokud pom\u016f\u017ee l\u00e9pe vyhodnotit situaci nebo zp\u0159esnit z\u00e1sah.<\/p>\n\n\n\n
Ale mezi \u201eAI pom\u00e1h\u00e1 \u010dlov\u011bku rozhodnout\u201c a \u201eAI sama rozhoduje, kdo zem\u0159e\u201c je obrovsk\u00fd rozd\u00edl.<\/p>\n\n\n\n
Tahle hranice se nesm\u00ed ztratit v technick\u00e9m slovn\u00edku. V\u00fdrazy jako \u201ehuman-in-the-loop\u201c, \u201ehuman-on-the-loop\u201c nebo \u201elast-mile autonomy\u201c zn\u011bj\u00ed odborn\u011b a neutr\u00e1ln\u011b. Jen\u017ee za nimi je velmi jednoduch\u00e1 ot\u00e1zka: je u rozhodnut\u00ed o zabit\u00ed konkr\u00e9tn\u00edho \u010dlov\u011bka je\u0161t\u011b skute\u010dn\u011b p\u0159\u00edtomen \u010dlov\u011bk? Ne form\u00e1ln\u011b. Ne n\u011bkde na za\u010d\u00e1tku procesu. Ale re\u00e1ln\u011b, informovan\u011b a s mo\u017enost\u00ed \u0159\u00edct ne.<\/p>\n\n\n\n
Pokud odpov\u011b\u010f zn\u00ed ne, pak jsme podle m\u011b v \u00fapln\u011b nov\u00e9 kategorii v\u00e1lky.<\/p>\n\n\n\n
Autonomn\u00ed zbran\u011b nav\u00edc sni\u017euj\u00ed psychologickou cenu n\u00e1sil\u00ed. Kdy\u017e st\u00e1t m\u016f\u017ee poslat levn\u00e9 stroje m\u00edsto vlastn\u00edch voj\u00e1k\u016f, poku\u0161en\u00ed pou\u017e\u00edt s\u00edlu m\u016f\u017ee r\u016fst. Kdy\u017e se \u00fatok zrychl\u00ed na tempo algoritmu, prostor pro pochybnost se zmen\u0161\u00ed. A kdy\u017e bude podobn\u00e9 syst\u00e9my mo\u017en\u00e9 vyr\u00e1b\u011bt masov\u011b, dostaneme se do sv\u011bta, kde zab\u00edjen\u00ed nebude jen automatizovan\u00e9, ale tak\u00e9 \u0161k\u00e1lovateln\u00e9.<\/p>\n\n\n\n
To je slovo, kter\u00e9 m\u011b na tom d\u011bs\u00ed nejv\u00edc: \u0161k\u00e1lovatelnost.<\/p>\n\n\n\n
V softwaru je \u0161k\u00e1lovatelnost ctnost. Znamen\u00e1, \u017ee syst\u00e9m zvl\u00e1dne milion u\u017eivatel\u016f m\u00edsto tis\u00edce. V e-commerce je to skv\u011bl\u00e9. V cloudu tak\u00e9. Ale u zbran\u00ed znamen\u00e1 \u0161k\u00e1lovatelnost n\u011bco \u00fapln\u011b jin\u00e9ho: mo\u017enost roz\u0161\u00ed\u0159it smrt rychleji, levn\u011bji a s men\u0161\u00edm po\u010dtem lid\u00ed v rozhodovac\u00edm \u0159et\u011bzci.<\/p>\n\n\n\n
A tady bychom m\u011bli b\u00fdt mimo\u0159\u00e1dn\u011b opatrn\u00ed.<\/p>\n\n\n\n
Podle m\u011b pot\u0159ebujeme jasn\u00e9 mezin\u00e1rodn\u00ed pravidlo: stroj nesm\u00ed s\u00e1m vyb\u00edrat a napadat lidsk\u00e9 c\u00edle. AI m\u016f\u017ee radit, filtrovat, navigovat, upozor\u0148ovat, chr\u00e1nit. Ale rozhodnut\u00ed o pou\u017eit\u00ed smrt\u00edc\u00ed s\u00edly proti \u010dlov\u011bku mus\u00ed z\u016fstat lidsk\u00e9. Ne proto, \u017ee lid\u00e9 rozhoduj\u00ed v\u017edy spr\u00e1vn\u011b. Historie ukazuje, \u017ee ne. Ale proto, \u017ee odpov\u011bdnost, vina, soucit a mor\u00e1ln\u00ed \u00fasudek jsou lidsk\u00e9 kategorie. Jakmile je p\u0159esuneme na stroj, nez\u00edsk\u00e1me objektivitu. Z\u00edsk\u00e1me jen pohodln\u011bj\u0161\u00ed zp\u016fsob, jak se odpov\u011bdnosti zbavit.<\/p>\n\n\n\n
AI s povolen\u00edm zab\u00edjet nen\u00ed technologick\u00fd miln\u00edk, kter\u00fd bychom m\u011bli oslavovat. Je to varovn\u00fd sign\u00e1l. Ukazuje, \u017ee debata o regulaci autonomn\u00edch zbran\u00ed u\u017e nem\u016f\u017ee b\u00fdt akademick\u00e1 a pomal\u00e1. Technologie se posunula z prezentac\u00ed a prototyp\u016f na boji\u0161t\u011b.<\/p>\n\n\n\n
A jakmile se n\u011bco objev\u00ed na boji\u0161ti, m\u00e1lokdy to tam z\u016fstane jednor\u00e1zov\u011b.<\/p>\n\n\n\n
Podle m\u011b te\u010f nejde o to, jestli autonomn\u00ed zbran\u011b budou existovat. Ony u\u017e existuj\u00ed, minim\u00e1ln\u011b v r\u016fzn\u00fdch stupn\u00edch autonomie. Jde o to, jestli je\u0161t\u011b dok\u00e1\u017eeme udr\u017eet hranici mezi n\u00e1strojem a vykonavatelem. Mezi syst\u00e9mem, kter\u00fd \u010dlov\u011bku pom\u00e1h\u00e1, a syst\u00e9mem, kter\u00fd \u010dlov\u011bka nahrazuje v nejz\u00e1va\u017en\u011bj\u0161\u00edm rozhodnut\u00ed v\u016fbec.<\/p>\n\n\n\n
Proto\u017ee ve chv\u00edli, kdy d\u00e1me algoritmu povolen\u00ed zab\u00edjet, nem\u011bn\u00edme jen v\u00e1lku. M\u011bn\u00edme i to, co pova\u017eujeme za lidskou odpov\u011bdnost.<\/p>\n","protected":false},"excerpt":{"rendered":"
Je\u0161t\u011b p\u0159ed p\u00e1r lety zn\u011bla debata o autonomn\u00edch zbran\u00edch jako vzd\u00e1len\u00e1 kapitola ze sci-fi. Nicm\u00e9n\u011b j\u00e1 ji\u017e n\u011bkolik let p\u0159i sv\u00fdch ve\u0159ejn\u00fdch vystoupen\u00edch poukazuji na perspektivu, \u017ee \u010dlov\u011bka snadn zabije dron… Kde jsme nyn\u00ed? Stroje, kter\u00e9 samy vyhledaj\u00ed c\u00edl, samy se rozhodnou a samy zabij\u00ed \u010dlov\u011bka? To p\u0159ece pat\u0159\u00ed do film\u016f, ne do re\u00e1ln\u00e9ho sv\u011bta. […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[77,78,76],"class_list":["post-166","post","type-post","status-publish","format-standard","hentry","category-nezarazene","tag-dron","tag-killchain","tag-ukrajina"],"_links":{"self":[{"href":"https:\/\/www.martinpavlicek.cz\/blog\/wp-json\/wp\/v2\/posts\/166","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.martinpavlicek.cz\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.martinpavlicek.cz\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.martinpavlicek.cz\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.martinpavlicek.cz\/blog\/wp-json\/wp\/v2\/comments?post=166"}],"version-history":[{"count":1,"href":"https:\/\/www.martinpavlicek.cz\/blog\/wp-json\/wp\/v2\/posts\/166\/revisions"}],"predecessor-version":[{"id":167,"href":"https:\/\/www.martinpavlicek.cz\/blog\/wp-json\/wp\/v2\/posts\/166\/revisions\/167"}],"wp:attachment":[{"href":"https:\/\/www.martinpavlicek.cz\/blog\/wp-json\/wp\/v2\/media?parent=166"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.martinpavlicek.cz\/blog\/wp-json\/wp\/v2\/categories?post=166"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.martinpavlicek.cz\/blog\/wp-json\/wp\/v2\/tags?post=166"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}