Elektroniikan ja neurotieteen kehityksen myötä tutkijat ovat onnistuneet saavuttamaan merkittäviä asioita aivoimplanttilaitteilla, kuten palauttamaan näköhavainnon sokeille. Fyysisten aistien palauttamisen lisäksi tutkijat etsivät myös innovatiivisia tapoja helpottaa viestintää niille, jotka ovat menettäneet puhekyvyn. Uusi ”dekooderi”, joka vastaanottaa tietoja esimerkiksi kallon sisään implantoiduista elektrodoista, saattaa auttaa halvaantuneita potilaita puhumaan vain heidän mielensä avulla.
San Franciscon Kalifornian yliopiston (UCSF) tutkijat kehittivät kaksivaiheisen menetelmän aivosignaalien muuttamiseksi tietokoneella syntetisoiduksi puheeksi. Heidän tuloksensa, julkaistu tällä viikolla tieteellisessä Nature- lehdessä, tarjoavat mahdollisen tavan sujuvampaan viestintään ihmisille, jotka ovat menettäneet puhekyvyn.
Vuosien ajan tutkijat ovat yrittäneet valvoa hermosisältöä antaakseen äänen takaisin ihmisille, joiden neurologiset vauriot estävät heitä puhumasta - kuten aivohalvauksen jälkeenjääneet tai ALS-potilaat. Tähän saakka monissa näistä aivojen ja tietokoneiden välisistä käyttöliittymistä on ollut kirjainkokoinen lähestymistapa, jossa potilaat liikuttavat silmiään tai kasvojen lihaksia lausuakseen ajatuksensa. (Stephen Hawking ohjasi kuuluisasti puhesyntetisaattoriaan posken pienten liikkeiden kautta.)
Mutta tämäntyyppiset rajapinnat ovat hitaita - suurin osa tuottaa 10 sanaa minuutissa, murto-osa ihmisen keskimääräisestä puhenopeudesta 150 sanaa minuutissa. Nopeampaa ja sujuvampaa viestintää varten UCSF: n tutkijat käyttivät syvän oppimisen algoritmeja hermosignaalien muuttamiseksi puhuteiksi lauseiksi.
”Aivot ovat ehjät näillä potilailla, mutta hermosolut - polut, jotka johtavat käsivarsiin, suuhun tai jalkoihin - ovat hajonneet. Näillä ihmisillä on korkea kognitiivinen toiminta ja kyvyt, mutta he eivät voi suorittaa päivittäisiä tehtäviä, kuten liikkua tai sanoa mitään ”, sanoo Gopala Anumanchipalli, uuden tutkimuksen johtava kirjoittaja ja UCSF: n neurologiseen kirurgiaan erikoistunut apututkija. "Ohitamme olennaisesti hajotettua tietä."
Tutkijat aloittivat korkearesoluutioisilla aivojen aktiivisuustiedoilla, jotka kerättiin viideltä vapaaehtoiselta usean vuoden ajan. Nämä osallistujat - joilla kaikilla oli normaali puhetoiminta - olivat jo käyneet läpi epilepsiahoidon seurantaprosessin, joka sisälsi elektrodien implantaation suoraan aivoihin. Changin joukkue käytti näitä elektrodeja seuratakseen toimintaa puheisiin liittyvissä aivoalueissa potilaiden lukeessa satoja lauseita.
Sieltä UCSF-ryhmä kehitti kaksivaiheisen prosessin puhuttujen lauseiden luomiseksi. Ensin he loivat dekooderin tulkitsemaan tallennetut aivojen toimintamallit ohjeiksi virtuaalisen ääniradan liikkuville osille (mukaan lukien huulet, kieli, leuka ja kurkunpään). Sitten he kehittivät syntetisaattorin, joka käytti virtuaalisia liikkeitä kielen tuottamiseen.
Muut tutkimukset ovat yrittäneet dekoodata sanoja ja ääniä suoraan hermosignaaleista, ohittaen liikkeen dekoodauksen keskivaiheen. UCSF: n tutkijoiden viime vuonna julkaiseman tutkimuksen mukaan aivojen puhekeskuksessa keskitytään kuitenkin siihen, kuinka siirtää ääniradat tuottamaan ääniä sen sijaan, mitä tuloksena olevista äänistä tulee.
"Puhekeskusten aivojen toimintamallit on suunnattu erityisesti ääniratojen liikkeiden koordinointiin, ja vain välillisesti sidoksissa puheääniin itse", Edward Chang, UCSF: n neurologisen kirurgian professori ja uuden tutkimuksen avustaja, sanoi tämän viikon lehdistötilaisuudessa. "Yritämme nimenomaan purkaa liikkeet äänien luomiseksi, toisin kuin äänien suoraa dekoodaamista."
Esimerkki aivoimplanttiryhmä kallonsisäisiä elektrodeja, tyyppiä, jota käytetään aivojen toiminnan kirjaamiseen. (UCSF) Tätä menetelmää käyttämällä tutkijat suunnittelivat menestyksekkäästi aivojen toiminnan sanat ja lauseet, jotka vastasivat suurin piirtein osallistujien puheen äänityksiä. Kun he pyysivät verkkojoukkojen vapaaehtoistyöntekijöitä yrittämään tunnistaa sanat ja transkriboida lauseita sanaryhmän avulla, monet heistä ymmärsivät simuloidun puheen, vaikka niiden tarkkuus ei ollut kaukana täydellisestä. 101 syntetisoidusta lauseesta noin 80 prosenttia ainakin yksi kuuntelija kirjoitti täydellisesti 25-sanallisen pankin avulla (tämä osuus laski noin 60 prosenttiin, kun sanan pankkikoko kaksinkertaistui).
On vaikea sanoa, kuinka näitä tuloksia verrataan muihin syntetisoituihin puhetutkimuksiin, luoteisneurologi Marc Slutzky, joka ei ollut mukana uudessa tutkimuksessa, sanoo sähköpostissa. Slutzky työskenteli äskettäin samankaltaisen tutkimuksen parissa, joka tuotti syntetisoituja sanoja suoraan aivokuoren signaaleista dekoodaamatta ääniradan liikettä. Hän uskoo tuloksena olevan puheen laadun olevan samanlainen - vaikkakin suorituskykymittarien erot vaikeuttavat suoraa vertailua.
Yksi UCSF-tutkimuksen jännittävä näkökohta on kuitenkin, että dekooderi voi yleistää joitain tuloksia osallistujien kesken, Slutzky sanoo. Suurin haaste tämän tyyppiselle tutkimukselle on, että dekooderialgoritmien kouluttaminen vaatii yleensä osallistujien puhetta, mutta tekniikka on tarkoitettu potilaille, jotka eivät enää voi puhua. Jotkut algoritmin koulutus kykenevät yleistämään, voisivat antaa mahdollisuuden jatkaa työskentelyä halvaantuneiden potilaiden kanssa.
Tämän haasteen ratkaisemiseksi tutkijat kokeilivat myös laitetta osallistujan kanssa, joka jäljitteli virkkeitä äänettömästi sen sijaan, että puhuisi niitä ääneen. Vaikka tuloksena olevat lauseet eivät olleet yhtä tarkkoja, kirjoittajat sanovat, että sillä, että synteesi oli mahdollista jopa ilman äänitettyä puhetta, on jännittäviä vaikutuksia.
"Oli todella merkittävää huomata, että voimme silti tuottaa audiosignaalin teoksesta, joka ei tuottanut ääntä ollenkaan", kertoo UCSF: n tutkimuksen ja bioinsinööritutkinnon suorittaneen tutkimuksen avustaja Josh Chartier, tiedotustilaisuudessa .
Kuva tutkimuksen tekijästä Gopala Anumanchipalli, PhD, jolla on esimerkki joukosta kallonsisäisiä elektrodeja, tyyppiä, jota käytetään aivotoiminnan kirjaamiseen nykyisessä tutkimuksessa. (UCSF) Toinen tulevaisuuden tutkimuksen tavoite on toteuttaa dekooderin reaaliaikainen esittely, Anumanchipalli sanoo. Nykyinen tutkimus oli tarkoitettu konseptin todisteeksi - dekooderi kehitettiin erillään tiedonkeruuprosessista, ja joukkue ei testannut aivojen toiminnan kääntämistä syntetisoiduksi puheeksi reaaliajassa, vaikka tämä olisikin lopullinen tavoite kliininen laite.
Tämä reaaliaikainen synteesi on jotain, jota on parannettava, jotta tällainen laite olisi hyödyllinen tulevaisuudessa, sanoo Jaimie Henderson, Stanfordin neurokirurgi, joka ei ollut mukana tutkimuksessa. Hänen mukaansa kirjoittajien kaksivaiheinen menetelmä on silti uusi jännittävä lähestymistapa, ja syvän oppimisen tekniikan käyttö voi antaa uusia käsityksiä siitä, kuinka puhe todella toimii.
"Minulle vain ajatus aloittaa tutkimaan ihmisten puheen tuottamisen taustalla olevia perusteita on erittäin jännittävä", Henderson sanoo. "[Tämä tutkimus] alkaa tutkia yhtä inhimillisimmistä kyvyistämme perustasolla."
