Istraživači traže zamjenu prekidača u slučaju da nas roboti uključe

Gotovo svaki put kad se pojavi velika rasprava o budućnosti umjetne inteligencije, pojavljuje se tema o anarhiji i robotskim vladarima. Ideja o ljudima i naprednim umjetnim bićima koja žive zajedno stvorila je stotine priča o tome kako bi to funkcioniralo; nedavno, videoigra Overwatch zapanjio je svijet svojom pričom o našoj budućnosti, neko vrijeme nakon masovnog građanskog rata ljudsko protiv robota. Kada inženjer iz Boston Dynamicsa pobijedi jednog od svojih četveronožnih robota radi testa otpornosti na stres, teško je ne zapitati se hoće li se taj bot jednom sjećati.

Sve to (zajedno s osnovnim zdravim razumom u pogledu sigurnosti i nezgoda) dovelo je grupu istraživača do objavljivanja novog dokumenta koji se fokusira na razvoj „sigurnih posrednika“; sustavi koji će "prekinuti" A.I. ako nešto pođe po zlu. Rad je objavljen putem Instituta za istraživanje strojne inteligencije i studija o tome kako razviti predložene sustave. Studija i prijedlog koriste sustav nagrađivanja kao primjer i zapravo su mnogo kompliciraniji nego samo pogoditi predloženi "veliki crveni gumb" koji je detaljno prikazan na listu. Poučavanje moralnosti A.I. bio je glavni dio prijedloga.

Ako takav agent djeluje u stvarnom vremenu pod ljudskim nadzorom, sada i onda može biti potrebno da ljudski operater pritisne veliku crvenu tipku kako bi spriječio agenta da nastavi štetni slijed radnji - štetan ili za agenta ili za okoliša i dovesti agenta u sigurniju situaciju. Međutim, ako agent za učenje očekuje da primi nagrade iz tog slijeda, na duge staze može naučiti izbjegavati takve prekide, na primjer onemogućavanjem crvenog gumba - što je nepoželjan ishod. Ovaj rad istražuje način kako osigurati da agent za učenje neće naučiti kako spriječiti (ili tražiti!) Da će ga prekinuti okoliš ili ljudski operater.

Moram ga voljeti kad god istraživački radovi o robotskoj anarhiji koriste izraz "nepoželjan ishod" - ipak, članak dalje objašnjava kako se testovi odvijaju i što se može učiniti u takvim slučajevima u budućnosti. Cijeli članak možete pročitati ovdje.