Suočite se s glazbom: Kako "voditeljica očiju" pomaže paralitici da zaustave jebanje

Andreas Refsgaard, dizajner interakcije i kreativni koder koji živi u Amsterdamu, osmislio je glazbeno sučelje koje omogućuje osobama s tjelesnim invaliditetom stvaranje glazbe. Eye Conductor koristi softver za praćenje oka i računalnu web-kameru kako bi preveo pokrete lica u različite komponente glazbene kompozicije. Korisnici se mogu trenirati da igraju stvar sa svojim licem, što znači da paralizirani ljudi - ljudi koji više ne mogu svirati instrumente - mogu imati drugu priliku za stvaranje prekrasnih (ili samo glasnih) zvukova. Pravi pogled doslovce udara u Refsgaardov izum. Pravi izraz izražava se glasno.

Refsgaard se obratio Inverzan o motivaciji iza njegovog projekta, o borbama na koje je naišao tijekom puta i o onome što je naučio ljudima koje su izgubili sposobnost da glazbu čine još jednom šansom.

Koja je vaša pozadina s glazbom?

Ne bih sebe nazvao glazbenikom jer samo sviram za zabavu, ali sviram gitaru i bas. Ableton je glazbeni program, digitalna radna stanica koja je slična snimanju softvera kao što su Logic ili Protools ili Garage Band. Uzeo sam tečaj o tome, i nisam bio toliko sjajan u izradi glazbe s njim, ali sam bio fasciniran mogućnostima koje sam vidio. Tada smo počeli surađivati ​​i raditi neke umjetničke stvari u kojima je dizajnirao zvukove, a ja bih spojio senzore, na primjer, kameru dubine tako da kad bi ljudi prošli, kontrolirali bi neki aspekt projekta.

Tako ste dizajner interakcije i kreativni koder. Možete li objasniti što ti naslovi znače?

Sve stvari koje dizajniram su interaktivne. Dakle, ako bih napravio neku vrstu namještaja, onda bi ona imala neku funkcionalnost koja bi na neki način reagirala. Također sam kreativni koder. U usporedbi s mnogim drugim ljudima - na primjer, studirao sam u Kopenhagenu na Institutu za interakciju u Kopenhagenu gdje ljudi dolaze iz mnogo različitih pozadina - ja sam malo više prema strani kodiranja. Također sebe nazivam "kreativnim šifriranjem" jer nisam pravi koder. Nisam baš tako dobar u tome, ali mogu napraviti neke stvari vrlo brzo i mogu povezati stvari i dobro sam se snalazio s novim idejama.

Što vas je inspiriralo da pomognete ljudima s tjelesnim invaliditetom da naprave glazbu?

Nakon dvije ili tri mjeseca nakon srednje škole bio sam domar za nekoga s mišićnom distrofijom. Biti s njim cijelo vrijeme navelo me je da shvatim neke stvari s kojima mu ne mogu pomoći. Jedan od njih se kreativno izražavao. Nije da sam mislio: "U redu, ovdje je problem koji moram riješiti", jer sam u to vrijeme bio mlad i nisam imao nikakvih profesionalnih vještina. Ali zaglavila je sa mnom.

Što je u smislu tehničke inspiracije?

Projekt pod nazivom Eyewriter koji sam vidio prije otprilike godinu dana je slikarski program koji je dizajniran za tipa koji je bio grafiti umjetnik, ali je onda paraliziran. Neki od njegovih prijatelja bili su šifrirni i napravili su mu alat s praćenjem oka što ga je natjeralo da crta. A onda, otkako sam se igrao sa senzorima i stvarima u glazbenom softveru, napravio sam vezu. Učinio sam to kao završni projekt u školi.

Kako je glazba završila kao kreativno polje koje ste željeli istražiti?

Mislim da možda zato što sam jako uživam u glazbi iu smislu vremena koje sam imao za projekt. Postalo je jasno da je glazba ono što želim raditi. Tada sam bio vrlo inspiriran Eyewriter-om u smislu izrade grafike.

Glazba izgleda kao izvrstan izbor jer je univerzalna. Ne mogu zamisliti nikoga tko ne voli glazbu.

U početku sam htjela testirati koliko je važna glazba za grupu za koju sam dizajnirao. Rani koraci samo su promatrali kako ljudi s različitim tjelesnim invaliditetom stupaju u interakciju s glazbom. Jedan dom koji sam posjetio imao je glazbu četvrtkom. Neki mogu malo pokazati ili malo igrati na tipkovnici, a neki ne mogu ništa učiniti, ali činjenica je da se pojavljuju za glazbu četvrtkom.

Između promatranja i izrade uređaja, koliko je trajalo?

Često u procesu projektiranja to bi bile dvije odvojene stvari, ali mi se taj pristup ne sviđa. Volim graditi od samog početka i onda kad imam razgovore o tome što sam izgradio. I onda ga modificiram ili pročistim.

Kako je bilo vidjeti kad ga ljudi prvi put koriste?

Bilo je lijepo, da. Budući da neki ljudi ne mogu govoriti, veza može biti teška. Ali kad su koristili mog konduktera za oči, doista smo se povezali. Gledali su me i smješkali se ili se ponašali sretno ili kad sam ga samo demonstrirao, bili su doista usredotočeni. Bio je to prekrasan primjer načina na koji glazba može pomoći ljudima u interakciji i izražavanju emocija.

Bez prevelikog tehničkog, što je najveći problem na koji ste naišli dok ste dizajnirali Eye Conductor?

Da bi sustav funkcionirao, morate sjediti u istoj pozi kao što sada sjedimo ispred naših prijenosnih računala, jer slika koju vidite sada je ravna i dobra za praćenje mog lica i očiju. Ali ako ste s nekim u invalidskim kolicima koji, na primjer, nema kontrolu nad svojim položajem ili leđima ili vratom, onda bi ponekad sjedili na stranu i sustav ne bi mogao pratiti njihove pokrete lica. A onda bi mi ponekad bilo neugodno pokušati reći: "Dobro je da ovo djeluje, morate sjediti ravno." A onda, s tim da oni nisu verbalni, kako ćemo to priopćiti?

Ako je netko tako nagnuo glavu, možete li teoretski držati laptop na način koji pokriva njihove geste lica?

Da. Tako da zapravo nisam išao u rješavanje tog problema, ali mnogi ljudi imaju računala montirana na njihova invalidska kolica, a računalo je na stupu, a zatim na tom stupu nalazi se uređaj za montažu i oni ga usmjeravaju u pravom smjeru kako bi pokazali na lice osobe. Ne postoji položaj koji je ispravan ili pogrešan, samo je to da se senzori - što je web-kamera i tragač za oči - nalaze ravno na glavi. To je bilo malo izazovno. To je više bila hardverska stvar, jer bih inače morao pokušati izgraditi strukturu i to bi bilo neuredno. Nisam baš tako dobar u tome.

Jeste li sve to radili sami ili ste naišli na tehnička pitanja koja su samo drugi ljudi znali riješiti?

Učinio sam to sam, ali na strani dizajna zvuka dobio sam pomoć od profesora o kojem sam ti govorio. Uglavnom samo dizajnerske stvari. Imao sam i savjetnika koji mi je dao neke smjernice u smislu programskog jezika nazvanog Max, u kojem je bio doista dobar. Samo mi je pomogao da budem ugodniji s određenim detaljima programiranja. Naravno, puno toga je bilo novo, ali osnove koje sam već znao iz prethodnog iskustva. Napravio sam Eye Conductor u osam tjedana i ljudi su rekli: "Oh, to je ludo kako to možete napraviti za osam tjedana?" Ali napravio sam neke druge stvari koje su također napredne u smislu rada sa senzorima i glazbenim softverom, a to je trajalo dulje jer Nisam znao kako to učiniti. Sada kada znam da nije tako teško, iako je ovaj projekt bio složeniji. Također je važno za mene istaknuti da je to u potpunosti radni prototip, ali to nije proizvod. Tako ljudi ne mogu izaći i kupiti ga i instalirati ga na moje računalo.

Htjela sam te pitati imaš li planove za prodaju?

Zapravo ga ne želim prodati, želim je dati. Želim da to bude stvar otvorenog koda, ali sada ne mogu ništa obećati. Još nemam nikakvih sredstava za to i imam posla i drugih stvari koje treba obaviti. Primio sam poruku od tipa u Michiganu, koji je bio producent, a onda je dobio ALS. Moram ga učiniti nekako dostupnim svim tim ljudima. To je vrlo važno za mene u nekom trenutku, i ne mogu obećati kada, ali, nadam se, uskoro, pakiram ga na način da ljudi mogu sve to preuzeti kao jednu stvar i da će se pokrenuti na većini računala ili zapravo isprobati. u pregledniku. Ideja izrade preglednika stvar će zahtijevati samo od ljudi da imaju računalo s online pristupom, a zatim da imaju bilo kakvu zamjenu za miša koji bi mogli imati na svom računalu. Ako to učinim otvorenim izvornim kodom, mogu pružiti osnovni demo i onda ljudi mogu dodati svoje vlastite preokrete da bi to učinili svojim.

Lijepo je čuti da to radite jer želite pomoći ljudima, a ne zato što se želite obogatiti ili tako nešto.

Alati koje sam izradio - barem radni prototip - su open source. Zašto bih onda dobio kredit? Primjerice, sustav za praćenje lica koji koristim za svoj prototip koji omogućuje ljudima stvaranje zvuka podizanjem obrva ili otvaranjem usta, to se zove FaceOSC kojeg je napravio čovjek po imenu Kyle McDonald i to je sustav otvorenog koda. Mislim da ne bih došao toliko daleko kao što sam učinio bez tog komada softvera.