Hoće li autonomno oružje reći "ne" nezakonitim naredbama?

Baynazar Mohammad Nazar bio je bez svijesti na operacijskom stolu kad mu se strop počeo srušiti. Otac četvero djece je prethodnog dana nakon što je upucan u nogu, upao u bolnicu, a drugi put je proveo u dva dana kako bi popravio ozljedu. Kad su Amerikanci počeli uništavati zgradu, liječnici koji su radili na njemu nisu imali izbora nego da pobjegnu sami od sebe što je brže moguće.

Andrew Quilty u Vanjska politika priča priču o Baynazarovu životu i smrti u članku koji uključuje fotografiju njegova tijela prekrivenog ostacima na operacijskom stolu. Baynazar je bio jedan od 31 ljudi koje su Sjedinjene Države ubile kada je udario u bolnicu koju vode doktori bez granica (također zvana MSF) u Kunduzu, Afganistan, 2. listopada.

Nakon štrajkova visokog ranga, civilnih žrtava, političari i stručnjaci pitaju kako bi se to moglo dogoditi i što se može učiniti kako bi se osiguralo da se to ne ponovi. Među zagovornicima autonomnih sustava naoružanja, koji se ponekad nazivaju "roboti ubojice", jedan popularan argument je da je ljudska pogreška (ili zloba) odgovorna za veliki stupanj zločina počinjenih tijekom rata. Teoretski je moguće, kažu, da roboti mogu biti precizniji u svom ciljanju, a manje skloni pogreškama nego ljudi.

"Zapravo, ljudska prosudba može dokazati da su manje pouzdani od tehničkih pokazatelja u vrelini bitke", piše Michael N. Schmitt, profesor na US Naval War Collegeu. "Oni koji vjeruju da inače nisu iskusili maglu rata."

Američki zračni napad na bolnicu MSF-a u Afganistanu "uzrokovan prvenstveno ljudskom pogreškom" http://t.co/X9TGIA81aD pic.twitter.com/TUwit97206

- Telegrafske vijesti (@TelegraphNews) 25. studenog 2015

Pitanje je, dakle, možete li programirati ratna sredstva kako biste ograničili ljudsko ponašanje kako bi štrajkovi poput bolnice u Kunduzovoj bolnici bili nemogući, ili barem manje vjerojatni?

Vjerojatno ne - barem u bliskoj budućnosti. Ali neki programeri umjetne inteligencije osmislili su robota koji može reći ne ljudima. Dizajn eksperimenta je jednostavan: čovjek govori robotu da hoda naprijed sa stola, kojeg robot u početku odbija učiniti. Kad čovjek kaže robotu da će ga uhvatiti, robot prihvaća narudžbu.

To je daleko od poluautonomnog helikoptera koji govori svojoj ljudskoj posadi da ne može izvršiti zračni napad na bolnicu jer bi to bio ratni zločin, ali temeljna premisa je uglavnom ista. Kao što su drugi istaknuli, ljudska zabrinutost zbog ove vrste razvoja u robotima uobičajena je u znanstvenoj fantastici - mislim da HAL-9000 kaže: "Ne mogu to učiniti, Dave" kada zaključava čovjeka izvan svemirske stanice u 2001: Odiseja u svemiru.

Što se tiče specifičnosti štrajka u Kunduzu, mnoge činjenice oko napada ostaju sporne. MSF je zatražio neovisnu istragu, kojoj se vlada Sjedinjenih Država protivi, umjesto da obećava provođenje vlastitih revizija.

Neki dijelovi jedne istrage u SAD-u objavljeni su ranije ovog mjeseca, te su utvrđene ljudske i mehaničke pogreške koje su odgovorne za štrajk. No, ranije ovog tjedna, dva člana službe došla su kako bi proturječila nalazima izvješća. Kažu da štrajk nije bila pogreška. U njihovom računovodstvu, prvi je izvijestio AP, Snage SAD-a za specijalne operacije pozvale su u štrajk jer su se, iako se bolnica koristi kao talibanski zapovjedni i kontrolni centar.

U službenoj verziji, mehanički neuspjeh doveo je do toga da je posada topništva AC-130 na početku dobila koordinate za prazno polje. Posada je potom potražila zgradu u području koja odgovara fizičkom opisu koji su dobili, i otvorio vatru. Kad su im instrumenti ponovno kalibrirali, dali su posadi ispravne koordinate za svoju metu, ali posada je ionako nastavila pucati po bolnici.

Ako je ovo istinito - da je računalo u konačnici točno i da su ga ljudi ignorirali - daje izvjesnu vjeru pristalicama veće autonomije u sustavima oružja. Međutim, američki rat protiv terorizma je puna primjera kako vojska ili CIA udaraju u "pravu" metu i još uvijek završavaju ubijanjem velikog broja civila. Automatizacija neće riješiti lošu inteligenciju, a pokušaji programiranja približavanja morala neće okončati ratne zločine.

U Sjedinjenim Državama postoji jaka napast da steriliziraju rat i automatizaciju, uklanjajući Amerikance iz zla puta, koji je predodređen za promjenu same definicije rata. Obamina sklonost ubijanju bespilotnih letjelica i prateća uvjeravanja da su trutovi najpreciznija oružja ikada stvorena, najjasnija su manifestacija tih ciljeva. "Oni su bili precizni, precizni udari na al-Qaidu i njihove podružnice", rekao je Obama u susretu u Googleu 2012. godine.

Međutim, studija vlade iz 2013. suprotstavlja se tim tvrdnjama. Utvrđeno je da su bespilotne letjelice u Afganistanu uzrokovale 10 puta više smrtnih slučajeva civila od bespilotnih vozila. "Trutovi nisu čarobno bolji u izbjegavanju civila nego borbenih zrakoplova", rekla je Sara Holevinski, koautor studije. Čuvar, "Kada su piloti koji su letjeli zrakoplovima dobili jasne smjernice i obuku o civilnoj zaštiti, uspjeli su smanjiti stope civilnih žrtava."

Vojska troši milijune na razvoj sustava za timsko povezivanje između ljudi i robota, dodatno zamagljujući granice između misija koje se obavljaju ljudskim ili bespilotnim oružjem. "Ono što želimo učiniti u borbi protiv borbe između čovjeka i stroja jest da je pređemo na sljedeću razinu, da pogledamo stvari poput taktike rojenja", izjavio je zamjenik ministra obrane Bob Work na službenom blogu DoD-a. "Može li F-35 ući u borbu s četiri krilca bez posade?"

Hoće li ti krilati reći ne ako im ljudski pilot da naredbu koja je analogna hodanju sa stola? Što je s naredbom da se uništi bolnica ili škola? Magla rata će se primjenjivati ​​u oba slučaja. Ako odlučimo nadjačati strojeve, izraz "ljudska pogreška" bit će jedan od najstrašnijih pojava u sukobima budućnosti.