Pametni zvučnici mogu biti hakirani zvukom, kažu istraživači da ga zaustave

Što ako vam kažemo da haker može dati vašu Amazon Echo naredbu bez da uopće primijetite - ili čak morate napraviti bilo kakav haker kako to obično mislimo?

Moustafa Alzantot, prof. Kandidat na Kalifornijskom sveučilištu u Los Angelesu kaže da je teoretski moguće da zlonamjerni glumac pošalje određeni zvuk ili signal koji bi obično bio potpuno nezapažen od ljudi, ali uzrokovao bi da se A.I.

"Jedan primjer napada bio bi kontroliranje vašeg kućnog uređaja, bez da znate što se događa", kaže Alzantot Inverzan, "Ako slušate neku glazbu na radiju i imate Echo sjediti u vašoj sobi. Ako zlonamjerni glumac može emitirati zvučni ili glazbeni signal tako da ga Echo interpretira kao naredbu, to bi omogućilo napadaču da kaže, otključa vrata ili kupi nešto."

To je napad poznat kao kontradiktorni primjer, a to je ono što Alzantot i ostatak njegovog tima žele zaustaviti, kao što je opisano u njihovom radu nedavno predstavljenom na radionici NIPS 2017 Machine Deception.

A. I. ne razlikuje se od ljudske inteligencije koja ga je stvorila: ima svoje mane. Istraživači informatike su otkrili načine da potpuno prevare ove sustave laganim mijenjanjem piksela na fotografiji ili dodavanjem tihih zvukova u audio datoteke. Ove minute ugađanja su potpuno neprimjetne za ljude, ali potpuno mijenjaju ono što je A.I. čuje ili vidi.

"Ovi su algoritmi osmišljeni tako da pokušaju klasificirati ono što je rečeno kako bi mogli djelovati na njega", kaže Mani Srivastava, računalni znanstvenik u UCLA-i. Inverzan, "Pokušavamo potkopati taj proces manipulirajući ulazom na način koji čovjek u blizini čuje" ne ", ali stroj čuje" da ". Dakle, možete prisiliti algoritam da interpretira naredbu drugačije nego što je rečeno."

Najčešći suparnički primjeri su oni koji se odnose na algoritme za razvrstavanje slika, ili ugađanje fotografije psa tako lagano da se napravi A.I. mislim da je to nešto sasvim drugo. Istraživanje Alzantota i Srivastave ukazalo je da su algoritmi za prepoznavanje govora također podložni ovim vrstama napada.

U radu je grupa koristila standardni sustav klasifikacije govora koji se nalazi u Googleovoj knjižnici otvorenog koda, TensorFlow. Njihov je sustav imao zadatak klasificirati naredbe od jedne riječi, tako da bi slušao audio datoteku i pokušao je označiti riječju koja je izrečena u datoteci.

Zatim su kodirali drugi algoritam kako bi pokušali prevariti TensorFlow sustav koristeći adversarijalne primjere. Ovaj sustav je mogao zavarati klasifikaciju govora A.I. 87 posto vremena koristi ono što je poznato kao napad crne kutije, u kojem algoritam ne mora ni znati ništa o dizajnu onoga što napada.

"Postoje dva načina za postavljanje takvih napada", objašnjava Srivastava. "Jedna je kada, kao protivnik znam sve o sustavu primanja, tako da sada mogu napraviti strategiju za iskorištavanje tog znanja, ovo je bijeli napad. Naš algoritam ne zahtijeva poznavanje arhitekture modela žrtve, što ga čini napadom na crnu kutiju.

Jasno je da su napadi u crnoj kutiji manje učinkoviti, ali oni su također ono što bi se najvjerojatnije koristilo u stvarnom napadu. Grupa UCLA uspjela je postići tako visoku stopu uspješnosti od 87 posto čak i kada nisu prilagodili svoj napad kako bi iskoristili slabosti u svojim modelima. Napad bijele kutije bio bi još učinkovitiji u zabludi s ovom vrstom A.I. Međutim, virtualni asistenti poput Amazone Alexa nisu jedine stvari koje bi se mogle iskoristiti primjerima suprotstavljanja.

"Strojevi koji se oslanjaju na nekakav zaključak od zvuka mogu se prevariti", kaže Srivastava. “Očito je da je Amazon Echo i takav primjer, ali postoji mnogo drugih stvari u kojima se zvuk koristi za stvaranje zaključaka o svijetu. Imate senzore povezane s alarmnim sustavima koji uzimaju zvuk."

Spoznaja da su sustavi umjetne inteligencije koji uzimaju zvučne signale također podložni adversarnim primjerima je korak dalje u shvaćanju koliko su ti napadi moćni. Dok grupa nije mogla izvesti emitirani napad poput onog koji je Alzantot opisao, njihov će se budući rad okrenuti oko toga kako je to moguće.

Iako je ovo istraživanje samo testiralo ograničene glasovne naredbe i oblike napada, naglasilo je moguće poštovanje u velikom dijelu potrošačke tehnologije. Ovo djeluje kao odskočna daska za daljnja istraživanja u obrani od kontradiktornih primjera i poučavanja A.I. kako ih razdvojiti.