Aprenentatge automàtic contra armes contra ISIS va a enfonsar les cadenes militars de comandament

Tots els usuaris d'Internet es van passar bé amb Tay, el robot de Twitter de Microsoft, que es va convertir en un negador racista de l'Holocaust en poques hores (després va tornar i ho va tornar a fer). La companyia havia creat una solució de relacions públiques - més incident que un desastre - alhora que donava al públic una lliçó d'objectes sobre els pros i els contres de l’aprenentatge automàtic: l’automatització pot aprofitar els patrons d’un efecte fascinant a la velocitat, però els resultats serien previsiblement difícils de predir.

Com sol ser el cas, els militars són els primers que adopten la tecnologia d'automatització. Al mateix temps, és l’encarregat d’aprendre en l’aprenentatge automàtic i també de tractar desesperadament de mantenir-se al dia. Una de les principals àrees d’enfocament del Pentàgon és els robots autònoms i com s’equiparan amb els humans: un robot de tipus R2D2, per exemple. Però aquesta setmana, el subsecretari de Defensa Robert Work va esbossar una altra tasca per a A.I.: obertura de dades de codi obert.

"Estem totalment segurs que l'ús de màquines d'aprenentatge profund ens permetrà tenir una millor comprensió de l'ISIL com a xarxa i millorar-ne la comprensió sobre com orientar-la amb precisió i dur a la seva derrota", va dir el secretari de treball. Lloc web de DoD. Segons aquest compte, Work, que estava parlant en un esdeveniment organitzat per la Washington Post, tenia la seva epifania mentre veia que una empresa de tecnologia de Silicon Valley demostrava "una màquina que prenia dades de Twitter, Instagram i de moltes altres fonts públiques per mostrar el vol de 17 de juliol del Malaysia Airlines Flight 17 en temps real".

Les empreses privades i les autoritats han intentat tenir sentit de les "grans dades" durant molt de temps. Però els militars tenen un avantatge: els recursos. A més, tenen accés a materials classificats.

El govern dels Estats Units sembla disposat a apostar que els algorismes de programari poden ordenar la quantitat massiva de dades existents per tal d’identificar els objectius d’ISIS que, en cas contrari, s’haguessin eludit i detectar i interrompre els gràfics abans que els planificadors puguin dur-los a terme. El govern ja està intentant estudiar les xarxes socials per predir la mida de les protestes en línia. No hi ha dubte que l’aprenentatge a màquina proporcionarà als analistes d’intel·ligència un poder creixent per donar sentit a la riquesa d’informació disponible al món. Però quan aquesta intel·ligència esdevé la base sobre la qual es fa una vaga letal, els problemes ètics es tornen més complexos, fins i tot si semblen directes.

Tot i que Work va afirmar ràpidament que el Pentàgon no "delegaria una autoritat letal en una màquina", que continua sent el joc final. Mentrestant, els éssers humans continuaran sent "a la vora", tal i com va explicant l'argot. Però com tothom que ha mirat un iPhone per a un informe meteorològic quan està al costat d'una finestra sap, les relacions que tenim amb els nostres dispositius i programari no són simples. Estem problemàticament crédulos i fàcilment distrets per problemes d’interfície.

El "biaix d’automatització", la tendència que els humans aplacen les màquines, presenta un perill clar i cada cop més present. L'exemple d'exemple per il·lustrar aquest fenomen és quan el telèfon us indica que feu una ruta de viatge que sabeu que està malament, però ho feu de totes maneres, suposant que el telèfon ha de saber alguna cosa que no feu. Aquest és un problema comú en contextos no militars. El que sembla que el Pentàgon també s'apropa, però, és un informe d’amenaça compost per intel·ligència artificial. No sabem res sobre l’eficàcia potencial d’aquest programa que no sigui el que serà difícil per als éssers humans implementar-lo.

En un document de 2001 que estudiava els pilots dels estudiants i els professionals i el biaix de l’automatització, els investigadors van descobrir que "en els escenaris en què es disposava d’informació correcta per comprovar i detectar anomalies d’automatització, les taxes d’error aproximades del 55% es van documentar a les dues poblacions". que afegir un company d’equip humà addicional no va mitigar el problema.

De la mateixa manera, un estudi del MIT de l’any passat va ser una mica preocupant perquè els jugadors d’ordinadors i videojocs tinguessin una “major propensió a l’automatització de la confiança”. Això podria significar que com més temps passem mirant les nostres pantalles, més confiem en el que veiem. De nou, el problema no és pas amb els sistemes que utilitzem, sinó amb la manera com els fem servir. La culpa no és a les nostres estrelles, sinó a nosaltres mateixos.

Les grans dades segueixen sent prometedores. L'aprenentatge automàtic continua sent prometedor. Però quan les màquines aconsellen als humans, els resultats són previsibles impredictibles. La transformació de Tay en un misogin neonazi significa que el Twitter odia els jueus i les dones? És difícil de saber, però és bastant improbable. Quan no entenem el procés per la manera com les entrades es converteixen en resultats, lluitem per fer front als resultats de manera racional. Això posa el Pentàgon en una posició interessant. Les persones que programen el programari d’aprenentatge automàtic de l’armada seran les que demanaran atacs aeris? Això no és com funciona la cadena d’ordre, però les cadenes d’ordres s’emmarquen quan s’implica la tecnologia.