Нейрофизиологи и инженеры из Калифорнийского университета улучшили систему, которая преобразует активность мозга человека в связные предложения. Теперь ее могут использовать даже парализованные, полностью потерявшие речь. Об этом, говорят результаты исследования, представленные в журнале Nature Communications.
Исследователи доработали свою же систему с имплантом, который вживляют в мозг. Имплант считывает активность нейронов в моторных зонах, а затем при помощи глубокого обучения и языковой модели преобразовывает информацию в целые фразы.
В разработке и тестировании новой системы участвовал человек с анартрией - то есть отсутствием речи, связанным с поражением нервно-мышечного аппарата. При этом у пациента осталась способность производить некоторые звуки, в том числе мычание.
При оптимизации модели ученые просили его пытаться произносить (мысленно или вслух) слово либо букву, показанную на экране. В другом задании ему нужно было постараться произнести появляющуюся на экране или произвольную фразу.
Полученная система смогла декодировать словарь из 1152 слов с ошибкой в 6,13% для букв и 10,53% для слов. Из 150 предложений 70% система распознала без ошибок, средняя скорость декодирования составила 29,41 буквы или 6,84 предложения в минуту. Это оказалось быстрее, чем у вспомогательного устройства, которое пациент использовал в обычной жизни.
В прошлой версии системы словарь составлял всего 50 слов, а участнику приходилось всегда пытаться произнести вслух нужные. Теперь модель не только увеличила словарный запас в 23 раза, но и научилась работать при молчаливом произнесении слов про себя. Более того, симуляция данных показала, что словарь системы может быть расширен до 9170 слов, что позволит пациентам свободно общаться на разные темы.
Исследователи доработали свою же систему с имплантом, который вживляют в мозг. Имплант считывает активность нейронов в моторных зонах, а затем при помощи глубокого обучения и языковой модели преобразовывает информацию в целые фразы.
В разработке и тестировании новой системы участвовал человек с анартрией - то есть отсутствием речи, связанным с поражением нервно-мышечного аппарата. При этом у пациента осталась способность производить некоторые звуки, в том числе мычание.
При оптимизации модели ученые просили его пытаться произносить (мысленно или вслух) слово либо букву, показанную на экране. В другом задании ему нужно было постараться произнести появляющуюся на экране или произвольную фразу.
Полученная система смогла декодировать словарь из 1152 слов с ошибкой в 6,13% для букв и 10,53% для слов. Из 150 предложений 70% система распознала без ошибок, средняя скорость декодирования составила 29,41 буквы или 6,84 предложения в минуту. Это оказалось быстрее, чем у вспомогательного устройства, которое пациент использовал в обычной жизни.
В прошлой версии системы словарь составлял всего 50 слов, а участнику приходилось всегда пытаться произнести вслух нужные. Теперь модель не только увеличила словарный запас в 23 раза, но и научилась работать при молчаливом произнесении слов про себя. Более того, симуляция данных показала, что словарь системы может быть расширен до 9170 слов, что позволит пациентам свободно общаться на разные темы.
Поделитесь в соцсетях:
