Princeton Undergrad crea un Deepjazz A.I. Music Maker

Ji-Sung Kim va passar les primeres hores del matí del primer cap de setmana d'abril connectat a la cafeïna i la codificació al seu ordinador mentre desenvolupava deepjazz, un generador de música d'aprenentatge profund. El nou estudiant de Princeton, de 20 anys, només tenia 36 hores per completar el deepjazz durant la seva primera hackathon, HackPrinceton, que es va celebrar l'1 d'abril a la universitat. Després d'acabar una marató de codificació, va crear un lloc web per a deepjazz i va publicar el codi font a GitHub.

Però per sorpresa de Kim, el programa va sortir. Deepjazz està constantment en tendència en Python i GitHub, aconseguint el màxim nivell del setè programa de GitHub en general. Fins i tot es va presentar a la primera pàgina de HackerNews i continua generant un debat animat.

"Mai no vaig esperar que el meu primer projecte secundari fos aquest explosiu en termes de popularitat", explica Kim Invers. "Ha estat molt boig i divertit".

deepjazz - Generació de jazz basada en l'aprenentatge profund amb Keras i Theano! http://t.co/G5wscglzO7 #python

- Tendències de Python (@pythontrending) l'11 d'abril de 2016

Entre menjar, dormir i completar altres treballs de curs, Kim va raonar que li va trigar unes 12 hores a desenvolupar el codi font del deepjazz. No obstant això, va arribar a la idea d’un generador de música d’intel·ligència artificial molt abans de HackPrinceton. Durant les pràctiques d'estiu a la Universitat de Chicago, es va trobar amb el Deep Dream de Google, un generador de fotografies que interpreta els patrons en una imatge i els transforma en altres objectes que coneix. El resultat són imatges amb molta feina que semblen que van sortir un somni salvatge.

"La idea d'utilitzar un aprenentatge profund per interpretar l'art era realment interessant per a mi", diu Kim. "Aquest tipus de marc de Deep Dream que Google va presentar i va publicar va ser realment fascinant, ja que està creant noves peces d'art des de obres d'art existents".

Deepjazz utilitza l'aprenentatge per màquina per generar música de jazz: “un A.I. construït per fer jazz ”com a estats de perfil de SoundCloud. Kim, que no ha realitzat classes de teoria musical, però que ha tocat el clarinet durant set anys, va escollir la música de jazz per les seves melodies poc convencionals. Un A.I. La música del sistema, "pot tenir algunes sortides inusuals, així que crec que el jazz s'adaptava especialment a la idea de generar música sobre la marxa", diu.

Va recrear un generador de música existent optimitzat per a la música de jazz que el seu amic Evan Chow va desenvolupar anomenat JazzML, usant el codi per obtenir dades rellevants però transformant-lo en una matriu binària compatible amb les dues biblioteques d'aprenentatge profund Keras i Theano.

Kim es defineix com una arquitectura LSTM de dues capes, que és una espècie d'arquitectura de xarxa neuronal artificial. Després d’aprendre una seqüència inicial de llavors bàsiques de notes musicals (Kim va utilitzar parts de "And Then I Knew" de Pat Metheny), assigna probabilitats a les notes i genera la següent nota basada en aquestes probabilitats. Per exemple, si alimenteu el programa de l’escala A, B, C, hi ha una alta probabilitat que la propera nota que el deepjazz generarà serà D, explica Kim.

Històricament, els crítics van dir que els generadors de música d’intel·ligència artificial estan afectats per la producció de cançons que sonen massa robòtiques i estèrils, que no tenen el color que se sent en la música composta per humans. Jeffrey Bilmes, antic estudiant del MIT que va escriure una tesi sobre ordinadors que reproduïen ritmes musicals el 1993, va dir Invers al novembre:

"Quan aprens a tocar música i aprèn a tocar jazz, hi ha una utilitat per entendre de manera intuïtiva què és la música que la fa humana", va dir Bilmes. "Els éssers humans són éssers intuïtius i els humans sovint no són capaços de descriure com són capaços de fer coses humanes. En aquell moment em vaig sentir que potser estava violant un jurament sagrat a l'hora de definir aquestes coses per als programes informàtics."

Quan Kim feia investigacions per a un deepjazz, es va trobar amb molts sistemes que van generar música que sonava robòtica.

"La música i l'art són coses que considerem profundament humanes", diu Kim. "Per que soni més humà i més realista, és realment difícil classificar-los." Kim suggereix que els generadors podrien crear cançons que sonien més humanes programant-les per sonar menys similars a la pista original.

Altres desenvolupadors s'han posat en contacte amb Kim i estan interessats en expandir el deepjazz per tal que més persones puguin interactuar amb ell. Kim pot veure el deepjazz un dia evolucionant cap a una parella d'improvisació que pot generar artificialment un rastre de riff des d'un músic. Fins i tot més en el futur, pot veure aplicacions que creen música nova i similar a les seves pistes preferides o que puguin suggerir nous acords i progressions per als músics.

Kim admet que encara està lluny d’ésser expert en l’aprenentatge profund, però la seva experiència en el desenvolupament de jazz profund i la formació en pràctiques i en Princeton li ha donat una valuosa informació sobre el camp.

“A.I. ja no és un somni de ciència ficció. És una cosa molt real i és una cosa que s'apropa a un ritme molt ràpid ”, diu Kim. "Esperem que aquest estudiant universitari, que no és ni tan sols un estudiant superior, hagi pogut fer alguna cosa dins d’un hackathon, és encoratjador per a altres estudiants que lluiten per entrar a la informàtica."