Els altaveus intel·ligents poden ser piratejats pel so, digueu els investigadors que ho detinguin

I si us diguessin que un pirata informàtic podria donar a la vostra Amazon Echo una ordre sense que ni tan sols us adonéssim, o fins i tot haver de fer algun hacking tal com normalment pensem en això?

Moustafa Alzantot, doctora en informàtica. candidat a la Universitat de Califòrnia, a Los Angeles, diu teòricament que és possible que un actor maliciós enviï un so o senyal particular que normalment passaria desapercebut pels humans, però que causés que els algorismes d’aprenentatge profunds de l’I.

"Un exemple d’un atac seria controlar el vostre dispositiu domèstic, sense saber què passa", explica Alzantot Invers. "Si esteu reproduint música a la ràdio i teniu un ressò assegut a la vostra habitació. Si un actor maliciós és capaç de transmetre un so d'àudio o de música dissenyat de manera que l'Echo ho interpreti com una ordre, això permetria a l'atacant dir, desbloquejar una porta o comprar alguna cosa ".

És un atac conegut com a exemple contradictori, i és el que Alzantot i la resta del seu equip pretenen aturar, tal com es descriu en el seu treball presentat recentment al taller de decepció de màquines NIPS 2017.

A.I. no és diferent de la intel·ligència humana que la va crear en primer lloc: té els seus defectes. Els investigadors en informàtica han descobert maneres d’enganyar completament aquests sistemes modificant lleugerament els píxels d’una foto o afegint sorolls febles als fitxers d’àudio. Aquests ajustaments minúsculs són completament indetectable pels humans, però altera completament el que és un A.I. escolta o veu.

"Aquests algorismes estan dissenyats per intentar classificar el que es va dir per poder-ne actuar", explica Mani Srivastava, científica informàtica a la UCLA. Invers. "Intentem subvertir el procés manipulant l'entrada de manera que un ésser humà proper sent el" no ", però la màquina sent" sí ". Així que podeu forçar l’algorisme a interpretar l’ordre de manera diferent a la que s’ha dit."

Els exemples més comuns d’adversaris són els relacionats amb algorismes de classificació d’imatges, o modificant una foto d’un gos tan lleugerament com per fer l’I. crec que és una cosa completament diferent. Les investigacions d’Alzantot i Srivastava han assenyalat que els algorismes de reconeixement de veu també són susceptibles a aquests tipus d’atacs.

En el document, el grup va utilitzar un sistema de classificació de veu estàndard que es trobava a la biblioteca de codi obert de Google, TensorFlow. Es va encarregar al sistema de classificar les ordres d'una sola paraula, de manera que escoltava un fitxer d'àudio i intentaria etiquetar-lo per la paraula que es deia al fitxer.

A continuació, van codificar un altre algorisme per intentar enganyar al sistema TensorFlow utilitzant exemples contradictoris. Aquest sistema va ser capaç d’enganyar la classificació de la paraula A.I. 87 per cent del temps utilitzant el que es coneix com a atac de caixa negra, en el qual l'algorisme ni tan sols ha de saber res del disseny del que està atacant.

"Hi ha dues maneres de muntar aquest tipus d’atacs", explica Srivastava. "Un és quan, quan l'adversari ho sap tot sobre el sistema receptor, ara puc fer una estratègia per explotar aquest coneixement, es tracta d'un atac de caixa blanca. El nostre algorisme no requereix conèixer l'arquitectura del model de la víctima, cosa que fa que sigui un atac de caixa negra."

És evident que els atacs de caixa negra són menys efectius, però també s’utilitzaran en un atac real. El grup UCLA va aconseguir assolir un índex d’èxit tan elevat del 87 per cent, fins i tot quan no va adaptar el seu atac per explotar les debilitats dels seus models. Un atac de caixa blanca seria encara més eficaç en fer front a aquest tipus de A.I. Tanmateix, els assistents virtuals, com l’Alexa d'Amazon, no són les úniques coses que es podrien explotar amb exemples contradictoris.

"Les màquines que confien en fer algun tipus d’inferència del so es podrien enganyar", va dir Srivastava. "Evidentment, l'Echo de l'Amazones i tal és un exemple, però hi ha moltes altres coses on s'utilitza el so per fer inferències sobre el món. Teniu sensors enllaçats a sistemes d'alarma que tinguin so."

La comprensió que els sistemes d’intel·ligència artificial que tenen en compte els senyals d’àudio també són susceptibles a exemples contradictoris és un pas endavant en adonar-se de la potència d'aquests atacs. Tot i que el grup no ha pogut retirar un atac transmès com el que va descriure Alzantot, el seu treball futur girarà entorn del fet que sigui factible.

Tot i que aquesta investigació només va provar ordres de veu limitades i formes d’atacs, va destacar una possible venerabilitat en una gran part de la tecnologia de consum. Això actua com a pas més enllà per a la investigació posterior en la defensa d’exemples contradictoris i en l’ensenyament d’AI. com separar-los.