Umělá inteligence v mozkovém implantátu pomáhá muži po mrtvici s dvojjazyčnou konverzací

Paralýza hlasivek po mozkové příhodě

Pacient, kterému byl implantát aplikován, vystupuje pod jménem Pancho. CMP, jež paralyzovala většinu jeho těla včetně hlasivek, prodělal ve svých 20 letech. Následkem mrtvice je Pancho schopen pouze sténat, ale nedokáže artikulovat.

Po třicítce se tento pacient začal účastnit výzkumu vedeného neurochirurgem Edwardem Changem z Kalifornské univerzity v San Francisku. Tým dr. Changa již v roce 2021 vyvinul řečovou neuroprotézu schopnou dekódovat řeč pomocí multielektrodového čipu subdurálně implantovaného do oblasti senzorimotorického centra pro řeč. Systém využíval dekodér vytrénovaný pomocí hlubokého učení.

Co se v mládí naučíš…

Také do Panchova kortexu byly zavedeny elektrody pro snímání nervové aktivity. Implantát byl schopen převádět tuto aktivitu do textu na obrazovce počítače. Panchova první věta, „Moje rodina je venku!“, byla v angličtině. Jenže Pancho se anglicky naučil teprve po mozkové příhodě. Jeho rodnou řečí je španělština, a právě ta v něm vyvolává pocity důvěry a sounáležitosti.

Dlouhodobým záměrem výzkumného týmu však nebylo jen vytváření slov, ale hlavně obnovení pacientova spojení s lidmi, protože svou identitu do značné míry vyjadřujeme skrze řeč.

Neurovědci proto vyvinuli systém využívající umělou inteligenci (AI), který je schopný dekódovat Panchovu dvojjazyčnou řeč. Dekodér trénovali na sadě téměř 200 slov v obou jazycích. Při pokusech o jejich vyslovení systém zaznamenával specifické vzorce aktivity neuronů, snímané implantátem.

Tvrdý trénink

Systém AI s anglickým i španělským modulem poté zaměstnali luštěním celých frází, které se pacient snažil vyslovit nahlas. Oba moduly se paralelně snaží přiřadit k nervovému vzorci nejlépe odpovídající slovo a zároveň hodnotí pravděpodobnost správného přiřazení. K prvnímu slovu ve větě, kterou se pacient snaží vyslovit, tak například anglický modul přiřadí slovo she (ona) s pravděpodobností 70 %, zatímco španělský modul vybere estar (být) s pravděpodobností 40 %.

Následující slovo pak vybírají nejen s ohledem na vzorec nervové aktivity, ale berou v úvahu i pravděpodobnost, s jakou by mohlo následovat po prvním slově. Tímto způsobem oba moduly postupně dospějí k co nejsmysluplnější frázi. Konečný výstup vždy tvoří dvě věty, anglická a španělská, ale displej Panchovi ukazuje jen tu s nejvyšším celkovým pravděpodobnostním skóre.

Modulům se dařilo rozlišovat mezi angličtinou a španělštinou v závislosti na prvním slově ve větě s 88% přesností. Pacient časem dokázal s výzkumným týmem vést upřímnou předem nedefinovanou konverzaci, k velké radosti své i zúčastněných vědců.

Dva jazyky v jednom koutku

Během výzkumu také vyšly najevo neočekávané poznatky o způsobu, jakým mozek zpracovává řeč. Některé předchozí experimenty využívající neinvazivní techniky naznačovaly, že různé jazyky aktivují odlišné části mozku.

Při analýze signálů sesbíraných přímo v pacientově mozkové kůře se však ukázalo, že velký podíl aktivity spojené s použitím angličtiny či španělštiny probíhal ve stejné oblasti. Navíc se zdálo, že Panchova neurologická odpověď se příliš neliší od vzorců zaznamenaných u bilingvně vyrůstajících dětí, ačkoliv se anglicky naučil až kolem třicítky. I toto je v rozporu s předchozími pozorováními.

Pomocníci s přirozenou řečí

Dalším krokem výzkumného týmu pravděpodobně bude zkoumání jazyků, které se od angličtiny výrazně foneticky a artikulačně liší, například čínštiny nebo japonštiny. Vědci by také rádi přišli na kloub „přepínání kódu“, tedy situacím, kdy mluvčí přejde z jednoho jazyka do druhého uprostřed věty. Konečným cílem týmu totiž je, aby pacienti mohli komunikovat co nejpřirozeněji.

(este)

Zdroje:
1. Silva A. B., Liu J. R., Metzger S. L. et al. A bilingual speech neuroprosthesis driven by cortical articulatory representations shared between languages. Nat Biomed Eng 2024 May 20, doi: 10.1038/s41551-024-01207-5.
2. Heidt A. First 'bilingual' brain-reading device decodes Spanish and English words. Nature 2024 May; 629 (8014): 981, doi: 10.1038/d41586-024-01451-4.
3. Moses D. A., Metzger S. L., Liu J. R. et al. Neuroprosthesis for decoding speech in a paralyzed person with anarthria. N Engl J Med 2021; 385 (3): 217–227, doi: 10.1056/NEJMoa2027540.