Faceți Muzica: Cum "Conductorul de ochi" îi ajută pe Paralytics să se dezbrace

Andreas Refsgaard, designer de interacțiune și coder creativ care trăiește în Amsterdam, a proiectat o interfață muzicală care permite persoanelor cu dizabilități fizice să facă muzică. Conductorul de ochi folosește software-ul de urmărire a ochilor și camera web a unui computer pentru a traduce mișcările feței în diferite componente ale compoziției muzicale. Utilizatorii se pot pregăti pentru a juca lucrurile cu fața, ceea ce înseamnă că oamenii paralizați - oameni care nu mai pot juca instrumente - pot avea oa doua șansă să facă sunete frumoase (sau doar tare). Privirea dreaptă lovește literalmente o coardă cu invenția lui Refsgaard. Expresia corectă se exprimă cu voce tare.

Refsgaard a vorbit Invers despre motivația din spatele proiectului său, despre luptele pe care le-a întâlnit și despre ce a învățat ceea ce a dat oamenilor care și-au pierdut capacitatea de a face din muzică o altă șansă.

Care este fundalul tău cu muzica?

Nu m-aș numi muzician pentru că eu joc doar pentru distracție, dar cânt la chitară și bas. Ableton este un program de muzică, o stație de lucru digitală care este similară cu software-urile de înregistrare precum Logic sau Protools sau Garage Band. Am luat un curs și nu am fost atât de minunat să fac muzică, dar am fost fascinat de posibilitățile pe care le-am văzut. Apoi am început să colaborăm și să facem niște chestii de tip instalare artizanală în care să proiecteze sunetele și să cuplez senzori, de exemplu o cameră de adâncime, astfel încât atunci când oamenii trecuseră, ar controla un aspect al proiectului.

Deci sunteți un designer de interacțiune și un coder creativ. Puteți explica ce înseamnă aceste titluri?

Toate lucrurile pe care le proiectez sunt interactive. Deci, dacă aș face un fel de mobilier, atunci ar avea unele funcționalități care ar face să reacționeze la ceva. Sunt, de asemenea, un coder creativ. În comparație cu o mulțime de alte persoane - de exemplu, am studiat la Copenhaga la Institutul de Design al Interactionului din Copenhaga, unde oamenii vin dintr-o mulțime de medii diferite - sunt puțin mai mult față de partea de codificare. De asemenea, mă numesc un "coder creativ" pentru că nu sunt un coder potrivit. Nu sunt atât de bun la asta, dar pot să fac niște lucruri foarte repede și pot să conectez lucrurile și sunt bun în a veni cu idei noi.

De ce te-a inspirat să ajuți persoanele cu dizabilități fizice să facă muzică?

După liceu timp de două sau trei luni, am fost îngrijitor pentru cineva cu distrofie musculară. Fiind cu el tot timpul ma făcut să-mi dau seama de unele lucruri cu care nu aveam cum să-l ajut. Unul dintre ei se exprima într-un mod creativ. Nu m-am gândit, "Bine, iată o problemă pe care trebuie să o rezolv", pentru că în acel moment eram tânăr și nu aveam nici o abilitate profesională. Dar a rămas cu mine.

Ce zici de inspirație tehnică?

Un proiect numit Eyewriter, pe care l-am văzut acum un an, este un program de pictură destinat unui tip care a fost artist graffiti, dar a fost paralizat. Unii dintre prietenii săi au fost coderi și i-au făcut un instrument cu urmărirea ochilor care l-au făcut capabili să deseneze. Și apoi, de când jucasem cu senzori și chestii în software-ul muzical, am făcut o conexiune. Am făcut-o ca proiectul meu final la școală.

Cum a ajuns muzica să devină câmpul creativ pe care doriți să îl explorați?

Cred că pentru că mă bucur foarte mult de muzică și în ceea ce privește timpul pe care l-am avut pentru proiect. Pur și simplu a devenit clar că muzica a fost ceea ce am vrut să lucrez. Apoi am fost foarte inspirat de Eyewriter în ceea ce privește realizarea graficii.

Muzica pare a fi o alegere excelentă, deoarece este universală. Nu mă pot gândi la nimeni care nu-i place muzica.

La început am vrut să testez cât de importantă era muzica pentru grupul pentru care am creat. Primii pași au fost doar observarea modului în care persoanele cu dizabilități fizice diferite interacționează cu muzica. O casă pe care am vizitat-o ​​a avut Joia de Muzică. Unii pot puncta un pic sau pot juca puțin pe o tastatură, iar unii nu pot face nimic, dar este faptul că apar pentru Joia de Muzică.

Între observarea și apoi realizarea dispozitivului, cât timp a durat?

Deseori, într-un proces de proiectare, acestea ar fi două lucruri separate, dar nu-mi place această abordare. Îmi place construirea încă de la început și apoi când am discuții despre ceea ce am construit. Și apoi o modific sau o perfecționez.

Cum a fost să vezi oamenii care le foloseau pentru prima dată?

A fost destul de frumos, da. Pentru că unii dintre oameni nu au putut vorbi, conexiunea poate fi dificilă. Dar atunci când mi-au folosit Conductorul Ochilor, am fost într-adevăr conectați. M-au uitat la mine și au zâmbit sau s-au comportat într-adevăr fericit sau când am demonstrat că au fost cu adevărat concentrate. A fost un exemplu frumos al modului în care muzica poate ajuta oamenii să interacționeze și să exprime emoțiile.

Fără a fi prea tehnic, care a fost cea mai mare problemă în care ați intrat în timp ce proiectați Conductorul de ochi?

Pentru ca sistemul să funcționeze, trebuie să stați în aceeași poziție ca și noi în fața laptopurilor, deoarece imaginea pe care o vedeți despre mine chiar acum este directă și bună pentru urmărirea feței și a ochilor. Dar, dacă sunteți cu cineva care se află într-un scaun cu rotile, care nu are control asupra posturii lor sau asupra spatelui sau gâtului, de exemplu, atunci uneori ar sta mai mult pe lateral și sistemul nu și-a putut urmări mișcările faciale. Și apoi, uneori, ar fi puțin inconfortabil pentru mine să încerc să spun: "Bine că lucrul acesta trebuie să stați mai strâns". Și atunci când ei nu sunt verbali, cum putem comunica acest lucru?

Dacă capul cuiva a fost înclinat în felul acesta, ar putea să țineți teoretic laptopul într-un mod care să-și preia gesturile faciale?

Da. Deci nu am intrat într-adevăr în rezolvarea problemei, dar o mulțime de oameni au calculatoare montate pe scaune cu rotile lor și computerul este pe un pol și apoi pe acest pol există un dispozitiv de montare și-l unghi în direcția corectă pentru a indica la persoanei. Nu există nicio poziție corectă sau greșită, ci doar obținerea senzorilor - care este camera web și un dispozitiv de urmărire a ochilor - să fie direct pentru cap. A fost ceva provocator. A fost mai mult un lucru hardware, pentru că în caz contrar ar fi trebuit să încerc să construiesc o structură și asta ar fi dezordonat. Nu sunt așa de bun la asta.

Ați făcut totul singur sau ați avut probleme tehnice pe care numai ceilalți oameni știau să le rezolve?

Am facut-o singură, dar pe partea de proiectare sunet am primit ajutor de la acel profesor despre care ti-am spus. Practic, doar lucruri de design de sunet. De asemenea, am avut un consilier care mi-a dat niște indicii în ceea ce privește un limbaj de programare numit Max, la care era foarte bun. El ma ajutat să fiu mai confortabil cu anumite detalii de programare. Desigur, multe dintre ele erau noi, dar elementele de bază pe care le știam deja din experiența anterioară. Am facut ochiul dirijor in opt saptamani si oamenii au spus: "Oh, e nebun cum poti sa faci asta in opt saptamani?" Dar am facut si alte lucruri care avanseaza si in ceea ce priveste lucrul cu senzorii si software-ul muzical si asta a durat mult mai mult Nu știam cum să o fac. Acum știu că nu este atât de dificil, chiar dacă acest proiect a fost mai complicat. De asemenea, este important să subliniez că este un prototip complet de lucru, dar nu este un produs. Deci, oamenii nu pot ieși și să-l cumpere și să-l instaleze pe computerul meu.

Vroiam să te întreb dacă ai de gând să-l vinzi?

De fapt, nu vreau să o vând, vreau să o dau departe. Vreau să fac un lucru open source, dar nu pot promite nimic acum. Nu am încă niciun fel de finanțare și am de lucru și alte lucruri de făcut. Am primit un mesaj de la un tip din Michigan, de exemplu, care fusese producător și apoi a primit ALS. Trebuie să o pun la dispoziție tuturor acestor oameni. Este foarte important pentru mine la un moment dat, și nu pot promite când, dar sperăm că destul de curând, pachet-l într-un mod, astfel încât oamenii să poată descărca totul ca pe un singur lucru și ar fi rulat pe cele mai multe computere sau de fapt, încercați-l în browser. Ideea din spatele unui lucru în browser ar necesita doar ca oamenii să aibă un computer cu acces online și apoi să aibă orice înlocuitor pentru un mouse pe care-l pot avea pe computerul lor. Dacă o fac open source pot furniza demo-ul de bază și apoi oamenii pot adăuga propriile lor răsturnări pentru a le face proprii.

Este frumos să auzi că faci asta pentru că vrei să ajuți oamenii și nu pentru că vrei să te îmbogățești sau ceva de genul asta.

Instrumentele pe care le-am construit - cel puțin prototipul de lucru - sunt open source. De ce aș obține apoi creditul? De exemplu, sistemul de urmărire a feței pe care îl folosesc pentru prototipul meu, care permite oamenilor să creeze un sunet prin ridicarea sprancenelor sau deschiderea gurii, este un lucru numit FaceOSC făcut de un tip pe nume Kyle McDonald și acesta este un sistem open source. Nu cred că aș fi ajuns până la capăt, fără acea bucată de software.