Interfața Brain-Computer poate traduce gânduri în vorbire

Neuroengineerii au creat un nou sistem care poate traduce gânduri simple într-un discurs recunoscut, folosind inteligența artificială și un sintetizator de vorbire, potrivit unui studiu publicat marți.

O echipă de cercetători din New York a reușit să reconstruiască cuvinte folosind doar activitatea creierului, o inovație care ar putea deschide calea pentru tehnologiile controlate de creier, cum ar fi, de exemplu, un smartphone care vă poate traduce gândurile în mesaje text.

Dr. Nima Mesgarani, profesor asociat la Universitatea Columbia, a condus studiul și le-a spus Invers că vede potențial mare de a ajuta la restabilirea vorbirii la persoanele care se recuperează de la un accident vascular cerebral sau trăiesc cu scleroză amiotrofică laterală (ALS). Mai departe, acest tip de tehnologie ar putea deschide și porți către smartphone-uri conectate la creier care ar putea permite utilizatorilor să-și utilizeze mintea, deși acest lucru este încă departe. Lucrarea sa a fost publicată în jurnal Rapoarte științifice.

"Una dintre motivațiile acestei lucrări … este o metodă alternativă de interacțiune om-calculator, cum ar fi o posibilă interfață între un utilizator și un smartphone", spune el. Cu toate acestea, aceasta este încă departe de realitate și, în prezent, informațiile care pot fi extrase utilizând metode non-invazive nu sunt suficient de bune pentru o aplicație de interfață creier-computer de vorbire.

Ascultați discursul generat de interfața creier-computer.

Pentru a dezvolta noua tehnica, Mesgarani si colegul sau, Dr. Ashesh Dinesh Mehta de la Northwell Health Physician Partners Neuroscience Institute, au inceput prin examinarea activitatii creierului pacientilor cu epilepsie pentru studiul lor. Acești pacienți aveau deja implanturi de electrozi în creier pentru a monitoriza convulsiile, pe care Mesgarani și Mehta au reușit să le utilizeze pentru a aduna date pentru cercetarea lor.

Duo-ul a cerut participanților dispuși să asculte vorbitorii să recitească numerele între zero și nouă și apoi să înregistreze semnalele creierului din acea interacțiune. Apoi, au instruit o rețea neuronală - un program care imită structura neuronilor în creierul uman - să recunoască tiparele semnalelor și să le traducă în cuvinte robotizate folosind un sintetizator de voce, cunoscut ca un vocoder.

Rezultatul a fost un scurt clip de voce despre ceea ce suna ca Microsoft Sam numarand de la zero la noua. Partea impresionantă este cât de clară este discursul comparativ cu alte metode pe care le-au testat cercetătorii. Totuși, trebuie încă mult de făcut.

"Este posibil să dureze un deceniu înainte ca această tehnologie să devină disponibilă", spune Mesgarani. Avem nevoie de mai multe progrese atat in electrozi implantabili pe termen lung, biocompatibili si / sau in tehnologii inovatoare in metode neinvazive de inregistrare neuronala. De asemenea, avem nevoie de o mai buna intelegere a modului in care creierul reprezinta vorbire, astfel incat sa putem rafina metodele noastre de decodare ".

Pacientii care au facut parte din acest studiu, de exemplu, au avut toate interventii chirurgicale cerebrale pentru a implanta monitoarele electrocorticografice. Acesta este un proces extrem de invaziv, care necesită o intervenție chirurgicală deschisă a creierului, lucru pe care majoritatea oamenilor ar putea să nu fie dispus să-l suporte, chiar dacă există o posibilitate de restabilire a unor capacități de vorbire.

Pentru moment, acest studiu a introdus o metodă pentru decodificarea semnalelor cerebrale în vorbire. Dacă ne dăm seama cum să detectăm cu exactitate activitatea cerebrală fără intervenție chirurgicală, vom fi cu un pas mai aproape de a nu revoluționa terapia logopedică, dar cu potențialul de a aduce smartphone-uri conectate la creier.

Brain-computerul de interfață de cercetare a fost primite interes nou nou în ultimii ani. În aprilie 2017, Facebook a anunțat că lucrează la un BCI în cadrul conferinței anuale F8. Și Elon Musk a anunțat în noiembrie 2018 că Neuralink, propriul său start BCI, angajase.

Abstract

Auditory reconstruction stimulare este o tehnică care găsește cea mai bună aproximare a stimulului acustic din populația de activitate neuronale evocate. Reconstruirea discursului din cortexul auditiv uman creează posibilitatea unui neuroprotetic de vorbire pentru a stabili o comunicare directă cu creierul și s-a dovedit a fi posibilă atât în ​​condiții deschise, cât și sub acoperire. Cu toate acestea, calitatea scăzută a discursului reconstruit a limitat sever utilitatea acestei metode pentru aplicațiile interfață creier-computer (BCI). Pentru a avansa stadiul tehnicii în neuroproteza discursului, am combinat progresele recente ale învățării profunde cu cele mai recente inovații în tehnologiile de sinteză a vorbirii pentru a reconstrui discursul inteligibil din corpul auditiv uman. Am investigat dependența preciziei reconstrucției de metodele de regresie liniară și neliniară (rețeaua neuronală profundă) și reprezentarea acustică utilizată ca țintă a reconstrucției, inclusiv spectrografia auditivă și parametrii de sinteză a vorbirii. În plus, am comparat precizia reconstrucției din intervalele de frecvențe neuronale joase și ridicate. Rezultatele noastre arată că un model de rețea neurală profundă care estimează direct parametrii unui sintetizator de vorbire de la toate frecvențele neuronale atinge cele mai mari scoruri subiective și obiective pe o sarcină de recunoaștere a cifrelor, îmbunătățind inteligibilitatea cu 65% față de metoda de bază care folosește regresia liniară la reconstrui spectrogramul auditiv. Aceste rezultate demonstrează eficacitatea algoritmilor de învățare profundă și de sinteză a vorbirii pentru proiectarea următoarei generații de sisteme BCI de vorbire, care nu numai că pot restabili comunicațiile pentru pacienții paralizați, dar au și potențialul de a transforma tehnologiile de interacțiune om-calculator.

Video asociat: Roboții sensibili la valul creierului pot servi ca extensii ale corpului uman