Boxele inteligente pot fi hackate de sunet, spun cercetătorilor să-l oprească

Dacă ne-am spus că un hacker ar putea să-ți dea o comandă fără să-ți dai seama, sau chiar să faci orice hacking așa cum ne gândim în mod normal la asta?

Moustafa Alzantot, o știință de calculator Ph.D. candidat la Universitatea din California, Los Angeles spune ca este teoretic posibil ca un actor malitios sa trimita un sunet sau un semnal special, care de obicei ar merge complet neobservat de oameni, dar ar determina algoritmii de invatare adanci ai lui A.I.

"Un exemplu de atac ar fi controlul dispozitivului de acasă, fără să știi ce se întâmplă", spune Alzantot Invers. "Dacă jucați muzică la radio și aveți un Echo în cameră. Dacă un actor rău intenționează să transmită un semnal sonor sau muzical artizanal, astfel încât Echo îl va interpreta ca o comandă, acest lucru ar permite atacatorului să spună, să deblocheze o ușă sau să cumpere ceva ".

Este un atac cunoscut ca un exemplu contradictoriu și este scopul lui Alzantot și a restului echipei sale de a se opri, așa cum este descris în lucrarea prezentată recent la atelierul NIPS 2017 Machine Deception.

A.I. nu este diferit de inteligența umană care la creat în primul rând: are defectele sale. Cercetătorii din domeniul științelor informatice au dat seama că pot să păcălească complet aceste sisteme prin modificarea ușoară a pixelilor într-o fotografie sau prin adăugarea de zgomote slabe la fișierele audio. Aceste modificări ale minutelor sunt complet nedetectabile de către oameni, dar modifică complet ceea ce un A.I. aude sau vede.

"Aceste algoritmi sunt concepute pentru a încerca să clasifice ceea ce sa spus astfel încât să poată acționa asupra acesteia", spune Mani Srivastava, cercetător la UCLA, informează Invers. "Încercăm să subminăm procesul manipulând intrarea într-un mod pe care un om în apropiere îl aude" nu ", dar aparatul aude" da ". Deci, puteți forța algoritmul să interpreteze comanda diferit decât ceea ce a fost spus."

Cele mai frecvente exemple contradictorii sunt cele legate de algoritmii de clasificare a imaginilor, sau de a personaliza o fotografie a unui câine atât de ușor încât să-l facă pe A.I. cred că este ceva complet diferit. Studiile lui Alzantot și Srivastava au subliniat că algoritmii de recunoaștere a vorbirii sunt, de asemenea, sensibili la aceste tipuri de atacuri.

În lucrare, grupul a folosit un sistem standard de clasificare a vorbelor găsit în biblioteca Google open source, TensorFlow. Sistemul lor era însărcinat să clasifice comenzi cu un singur cuvânt, astfel încât să asculte un fișier audio și să încerce să-l eticheteze prin cuvântul spus în fișier.

Apoi au codificat un alt algoritm pentru a încerca și a trăda sistemul TensorFlow folosind exemple contradictorii. Acest sistem a fost capabil să păcălească clasificarea vorbire A.I. 87 la sută din timp folosindu-se de ceea ce este cunoscut ca un atac la cutie neagră, în care algoritmul nu trebuie să știe nimic despre proiectarea a ceea ce atacă.

"Există două modalități de a ataca astfel de atacuri", explică Srivastava. "Una este când, eu, ca adversar, știu totul despre sistemul de primire, așa că acum pot face o strategie pentru a exploata acea cunoaștere, acesta este un atac cutie alba. Algoritmul nostru nu presupune cunoașterea arhitecturii modelului victimei, făcându-l un atac la cutie neagră."

Evident, atacurile cutie neagră sunt mai puțin eficiente, dar și cele care ar fi cel mai probabil folosite într-un atac real. Grupul UCLA a reușit să atingă o rată de succes de 87% chiar și atunci când nu și-a adaptat atacul pentru a exploata punctele slabe ale modelelor. Un atac cutie alba ar fi cu atat mai eficace in a face cu acest tip de A.I. Cu toate acestea, asistenții virtuali, cum ar fi Alexa lui Amazon, nu sunt singurele lucruri care ar putea fi exploatate folosind exemple contradictorii.

"Mașinile care se bazează pe a face un fel de inferență de la sunet ar putea fi păcăliți", a spus Srivastava. "Evident, Echo Amazon și așa este un exemplu, dar există multe alte lucruri în care sunetul este folosit pentru a face deducții despre lume. Aveți senzori legați de sistemele de alarmă care au sunet."

Realizarea faptului că sistemele de inteligență artificială care iau în evidență semnalele audio sunt, de asemenea, susceptibile la exemple contradictorii este un pas mai departe în realizarea cât de puternice sunt aceste atacuri. În timp ce grupul nu a reușit să scoată un atac transmis ca cel descris de Alzantot, munca lor viitoare se va schimba în jurul valorii de a vedea cât de fezabil este.

Deși această cercetare a testat doar comenzi vocale limitate și forme de atacuri, ea a subliniat o venerabilitate posibilă într-o mare parte a tehnologiei consumatorilor. Aceasta acționează ca o piatră de temelie pentru cercetări ulterioare în apărarea împotriva exemplelor contradictorii și predarea A.I. cum să le spui.