Sučelje mozga i računala može prevesti misli u govor

Neuroengineeri su stvorili novi sustav koji može prevesti jednostavne misli u prepoznatljiv govor, koristeći umjetnu inteligenciju i sintetizator govora, pokazuje studija objavljena u utorak.

Tim istraživača iz New Yorka uspio je rekonstruirati riječi koristeći samo moždanu aktivnost, inovaciju koja bi mogla utrti put za tehnologije kontrolirane mozgom kao što je, recimo, pametni telefon koji može prevesti vaše misli u tekstualne poruke.

Dr. Nima Mesgarani, izvanredni profesor na Sveučilištu Columbia, vodio je studiju i rekao joj Inverzan da vidi veliki potencijal da pomogne u obnovi govora ljudima koji se oporavljaju od moždanog udara ili koji žive s amiotrofičnom lateralnom sklerozom (ALS). Dalje, ova vrsta tehnologije mogla bi otvoriti vrata pametnim telefonima koji su povezani s mozgom i koji bi korisnicima omogućili tekstualni pristup svojim mislima, iako je to još uvijek daleko. Njegov je rad objavljen u časopisu Znanstvena izvješća.

"Jedna od motivacija ovog rada … je za alternativne metode interakcije između čovjeka i računala, kao što je moguće sučelje između korisnika i pametnog telefona", kaže on. "Međutim, to je još uvijek daleko od stvarnosti, a trenutno informacije koje se mogu izvaditi pomoću neinvazivnih metoda nisu dovoljno dobre za aplikaciju sučelja mozak-računalo."

Poslušajte govor koji generira sučelje mozak-računalo.

Da bi razvili novu tehniku, Mesgarani i njegov kolega, dr. Ashesh Dinesh Mehta iz Instituta za neuroznanost partnera Northwell Health Physicians Partners, započeli su ispitivanjem aktivnosti mozga pacijenata s epilepsijom za njihovo proučavanje. Ti su pacijenti već imali implantate elektroda u mozgu kako bi pratili napadaje koje su Mesgarani i Mehta mogli koristiti za prikupljanje podataka za svoja istraživanja.

Dvojac je zamolio sudionike da slušaju govornike recitirajući brojeve od nule do devet, a zatim su snimili signale mozga iz te interakcije. Zatim su trenirali neuronsku mrežu - program koji imitira strukturu neurona u ljudskom mozgu - kako bi prepoznali uzorke u signalima i preveli ih u riječi robotizirajućeg govora pomoću sintetizatora govora, poznatog kao vokoder.

Rezultat je bio kratak glasovni isječak onoga što zvuči kao Microsoft Sam koji broji od nula do devet. Impresivan dio je koliko je jasan govor u usporedbi s drugim metodama koje su istraživači testirali. Ipak, još uvijek treba obaviti mnogo posla.

“Može proći desetljeće prije nego što ova tehnologija postane dostupna”, kaže Mesgarani. “Potrebno nam je više napretka kako u dugoročnim, bio-kompatibilnim elektrodama koje se mogu usaditi i / ili naprednim tehnologijama u neinvazivnim metodama živčanog snimanja. Također nam je potrebno bolje razumijevanje o tome kako mozak predstavlja govor, tako da možemo usavršiti naše metode dekodiranja."

Pacijenti koji su bili dio ove studije, na primjer, svi su imali operaciju mozga kako bi implantirali elektrokortikografske monitore. To je iznimno invazivan proces koji zahtijeva operaciju na otvorenom mozgu, što većina ljudi možda neće biti spremna proći, čak i ako postoji mogućnost obnavljanja nekih njihovih govornih sposobnosti.

Za sada je ova studija uvela metodu za dekodiranje signala mozga u govor. Ako otkrijemo kako točno otkriti moždanu aktivnost bez operacije, bit ćemo korak bliže ne samo revolucionariziranju govorne terapije, nego i potencijalno pametnih pametnih telefona povezanih s mozgom.

Istraživanje sučelja mozga i računala primilo je novootkriveno zanimanje u posljednjih nekoliko godina. U travnju 2017. Facebook je objavio da radi na BCI-ju tijekom svoje godišnje F8 konferencije. Elon Musk je u studenom 2018. objavio da je Neuralink, njegov vlastiti start-up BCI-ja, unajmljivao.

Sažetak

Rekonstrukcija slušnog podražaja je tehnika koja pronalazi najbolju aproksimaciju akustičkog podražaja iz populacije evocirane neuronske aktivnosti. Rekonstrukcija govora iz ljudskog slušnog korteksa stvara mogućnost neuroprostetskog govora kako bi se uspostavila izravna komunikacija s mozgom i pokazalo se da je to moguće iu otvorenim iu tajnim uvjetima. Međutim, niska kvaliteta rekonstruiranog govora ozbiljno je ograničila korisnost ove metode za aplikacije sučelja mozak-računalo (BCI). Kako bi unaprijedili najsuvremenije neuroprostheze govora, kombinirali smo najnovija dostignuća u dubokom učenju s najnovijim inovacijama u tehnologijama sinteze govora kako bismo rekonstruirali zatvoreni, razumljivi govor iz ljudskog slušnog korteksa. Istraživali smo ovisnost točnosti rekonstrukcije o linearnim i nelinearnim (dubokim neuronskim mrežama) regresijskim metodama i akustičkoj reprezentaciji koja se koristi kao cilj rekonstrukcije, uključujući auditorne spektrograme i parametre sinteze govora. Osim toga, usporedili smo točnost rekonstrukcije s niskim i visokim neuralnim frekvencijskim rasponima. Naši rezultati pokazuju da model duboke neuronske mreže koji izravno procjenjuje parametre sintetizatora govora sa svih neuronskih frekvencija postiže najviše subjektivne i objektivne rezultate na zadatku prepoznavanja znamenki, poboljšavajući razumljivost za 65% u odnosu na osnovnu metodu koja je koristila linearnu regresiju za rekonstruirati slušni spektrogram. Ovi rezultati pokazuju učinkovitost algoritama za duboko učenje i sintezu govora za projektiranje sljedeće generacije govornih BCI sustava, koji ne samo da mogu obnoviti komunikaciju za paralizirane pacijente, već također imaju potencijal transformirati interakcijske tehnologije čovjeka i računala.

Povezani video: Brain Wave Sensing Roboti mogu poslužiti kao proširenja ljudskog tijela