Face to Music: Com el "conductor dels ulls" ajuda als paralítics a sortir a la merda

Andreas Refsgaard, dissenyador d'interacció i programador creatiu que viu a Amsterdam, ha dissenyat una interfície musical que permet a les persones amb discapacitats físiques fer música. El conductor d'ulls utilitza programari de seguiment d'ulls i una càmera web de l'ordinador per traduir els moviments facials en diferents components de la composició musical. Els usuaris poden entrenar-se per reproduir el tema amb la cara, la qual cosa significa que les persones paralitzades, persones que ja no poden reproduir instruments, poden tenir una segona oportunitat per fer sons bells (o simplement forts). La mirada correcta literalment fa un acord amb la invenció de Refsgaard. L’expressió correcta s’expressa en veu alta.

Refsgaard va parlar Invers sobre la motivació darrere del seu projecte, les lluites que va patir al llarg del camí i el que va aprendre el que va donar a la gent que havia perdut la capacitat de fer de la música una altra oportunitat.

Quin és el teu fons amb música?

No em diria que sóc músic perquè només jugo per diversió, però toco la guitarra i el baix. Ableton és un programa de música, una estació de treball digital similar a programes de gravació com Logic o Protools o Garage Band. Vaig fer un curs, i no era genial en fer música amb ell, però estava fascinat per les possibilitats que vaig veure. Després vam començar a col·laborar i fer algunes coses més de tipus artístic en la instal·lació, on dissenyava els sons i jo connectava sensors, per exemple una càmera de profunditat, de manera que quan la gent passava, controlarien algun aspecte del projecte.

Així doncs, sou dissenyador d’interacció i codificador creatiu. Podria explicar què volen dir aquests títols?

Totes les coses que dissenyo són interactives. Així, si tingués mobles, tindria alguna funcionalitat que fes que reaccioni a alguna cosa. També sóc codificador creatiu. En comparació amb moltes altres persones, per exemple, vaig estudiar a Copenhaguen a l'Institut de Disseny d'Interacció de Copenhaguen, on la gent prové de molts orígens diferents: estic una mica més cap al costat de la codificació. També em dic de "codificador creatiu" perquè no sóc un codificador adequat. No sóc tan bo, però puc fer algunes coses molt ràpidament i puc connectar les coses i sóc bo en venir amb idees noves.

Què us va inspirar per ajudar les persones amb discapacitats físiques a fer música?

Després de dos o tres mesos de secundària, vaig ser el cuidador d’una persona amb distròfia muscular. Estar amb ell tot el temps em va fer adonar-me d'algunes de les coses amb què no podia ajudar-lo. Un d’ells es va expressar de manera creativa. No era que jo pensés: "Bé, aquí hi ha un problema que he de resoldre", perquè en aquell moment era jove i no tenia cap habilitat professional. Però em va quedar amb mi.

I en termes d'inspiració tècnica?

Un projecte anomenat Eyewriter que vaig veure fa aproximadament un any és un programa de pintura dissenyat per a un tipus que abans era un artista de graffiti, però que després estava paralitzat. Alguns dels seus amics eren codificadors i li van fer una eina amb un seguiment dels ulls que el feia capaç de dibuixar. I des de llavors, que jo havia estat jugant amb sensors i coses amb programari musical, vaig fer una connexió. Ho vaig fer com a projecte final a l'escola.

Com va acabar la música com a camp creatiu que volia explorar?

Crec que potser m'agrada molt la música jo mateix i pel que fa al temps que vaig tenir per al projecte. Simplement va quedar clar que la música era el que volia treballar. Llavors vaig estar molt inspirat per Eyewriter quant a fer gràfics.

La música sembla una gran elecció perquè és universal. No puc pensar en ningú que no agrada la música.

Al principi en realitat volia provar la importància de la música per al grup al qual estava dissenyant. Els primers passos van ser només observar com les persones amb diferents discapacitats físiques interactuen amb la música. Una casa que vaig visitar va tenir música els dijous. Alguns poden apuntar una mica o jugar una mica en un teclat, i alguns no poden fer res, però el fet és que apareixen als dijous de la música.

Entre observar i després fer el dispositiu, quant de temps va trigar?

Sovint, en un procés de disseny, aquestes dues coses serien diferents, però no m'agrada aquest enfocament. M'agrada construir des del primer moment i després quan tinc converses sobre el que he construït. I després ho modifico o el refino.

Què ha estat veure per primera vegada la gent que l’utilitza?

Va ser bastant agradable, sí. Com que algunes persones no podien parlar, la connexió pot ser difícil. Però llavors, quan van utilitzar el meu conductor d’ulls, vam estar realment connectats. M’estaven mirant i somrient o actuant realment feliços o, quan acabava de demostrar-ho, estaven molt enfocats. Va ser un bell exemple de com la música pot ajudar les persones a interactuar i expressar emocions.

Sense arribar a ser massa tècnic, quin va ser el problema més gran que vau tenir durant el disseny del conductor dels ulls?

Perquè el sistema funcioni haureu de seure a la mateixa postura que estem asseguts ara mateix davant dels nostres portàtils, perquè la imatge que em veieu ara mateix és correcta i bona per rastrejar-me la cara i els ulls. Però, per exemple, si sou amb una persona amb cadira de rodes que no té control de la seva postura ni de l'esquena ni del coll, de vegades se sentin més de costat i el sistema no podia fer el seguiment dels moviments facials. I, de vegades, seria una mica incòmode intentar dir: "Bé, perquè això funcioni, s’haureu d’asseure's més recte". I, a la vegada, que no són verbals, com ens ho comuniquem?

Si el cap d’algú estigués inclinat així, teòricament podeu mantenir l’ordinador portàtil d’una manera que reculli els seus gestos facials?

Sí. Així que realment no vaig anar a resoldre aquest problema, però molta gent té ordinadors muntats a les seves cadires de rodes i l’ordinador es troba en un pal i, en aquest moment, hi ha un dispositiu de muntatge i l’orienten en la direcció correcta per apuntar a la la cara de la persona. No hi ha cap posició que sigui correcta o incorrecta, és només fer que els sensors, que són la càmera web i un rastrejador ocular, siguin directament a favor del cap. Això va ser una mica difícil. Era més d’un maquinari, perquè si no, hauria de provar de construir una estructura i això seria desordenat. No sóc tan bo en això.

Heu fet tot allò mateix o heu tingut problemes tècnics que només altres persones van saber resoldre?

Ho vaig fer per mi mateix, però al costat del disseny del so vaig obtenir ajuda d’aquell professor del qual us vaig parlar. Bàsicament només es tracta de coses de disseny sonor. També vaig tenir un assessor que em donava alguns indicadors quant a un llenguatge de programació anomenat Max, en el qual va ser realment genial. Em va ajudar a sentir-me més còmode amb determinats detalls de programació. Per descomptat, molts van ser nous, però els fonaments del que ja sabia de l’experiència anterior. Vaig fer el Eye Conductor en vuit setmanes i la gent va dir: "És una bogeria, com es pot fer això en vuit setmanes?", Però vaig fer algunes altres coses que també van avançar quant a treballar amb sensors i programari de música i això va trigar més perquè No sabia com fer-ho. Ara que sé que no és tan difícil, tot i que aquest projecte va ser més complicat. També és important assenyalar que és un prototip totalment operatiu, però no és un producte. Així, la gent no pot sortir a comprar-la i instal·lar-la al meu ordinador.

Vaig preguntar-li si teniu previst vendre'l?

De fet, no vull vendre-la, vull lliurar-la. Vull que sigui un codi obert, però ara no puc prometre res. Encara no tinc cap fons per a això i tinc feina i altres coses per fer. Vaig rebre un missatge d’un home de Michigan, per exemple, que era productor i després va obtenir l’ALS. He de fer-ho d'alguna manera disponible per a totes aquestes persones. És molt important per a mi en algun moment, i no puc prometre quan, però espero que estigui ben aviat, empaquetar-lo d'una manera perquè la gent pugui descarregar-ho tot com una cosa i funcionarà a la majoria dels ordinadors o provar-ho realment al navegador. La idea de convertir-la en una cosa de navegador només requeriria que les persones tinguessin un ordinador amb accés en línia i, a continuació, tinguessin el reemplaçament d'un ratolí que tinguessin al seu ordinador. Si ho faig amb codi obert, puc proporcionar la demostració bàsica i, a continuació, la gent pot afegir els seus propis girs per fer-ne la seva pròpia.

És bo saber que esteu fent això perquè voleu ajudar a la gent i no perquè vulgueu fer-se ric o alguna cosa així.

Les eines amb les quals el vaig construir –almenys el prototip funcionant– són de codi obert. Per què després aconseguiria el crèdit? Per exemple, el sistema de rastreig facial que faig servir per al meu prototip que permet a les persones crear un so en aixecar les celles o obrir-se la boca, això és l'anomenat FaceOSC d'un home anomenat Kyle McDonald i que és un sistema de codi obert. No crec que m'hagués aconseguit tan lluny com jo sense aquest programari.