На основе результатов исследования ученых Научно-исследовательского технологического центра нейротехнологий ЮФУ в перспективе можно разработать речевые «протезы» для восстановления коммуникации с инвалидами, которые смогут воспроизводить собственную мысленную речь через умную колонку.
Повседневную жизнь сложно представить без речи, она является важнейших средством социальной коммуникации. Однако, вследствие травмы головы, инсульта и других нейродегенеративных заболеваний человек может оказаться неспособен выразить себя вербально. Таким образом, находясь в сознании, зачастую, с сохранным интеллектом и имея внутреннюю (мысленную) речь, он оказываются в социальной изоляции. Именно эта проблема пробудила интерес ученых ЮФУ к разработке немышечных каналов коммуникации, потребных для парализованных лиц. Над исследованием работали Валерий Кирой, Олег Бахтин, Елена Кривко, Дмитрий Лазуренко и Елена Асланян под руководством ведущего научного сотрудника Научно-исследовательского технологического Центра нейротехнологий ЮФУ Дмитрия Шапошникова. Проект поддержан Российским Научным Фондом (РНФ).
По словам ученых, распознавать речь по активности мозга достаточно трудно. Детально воссоздать речь возможно в том случае, если поместить электроды непосредственно в ткани головного мозга, что позволяет регистрировать активность отдельных нейронов. Тем не менее, метод электроэнцефалографии (ЭЭГ) позволяет исследовать некоторые особенности сигналов мозга в процессе ординарной (устной) и внутренней речи без хирургических вмешательств. Метод ЭЭГ является достаточно дешёвым, безопасным и не травматичным, чтобы широко его применять для восстановления утраченной функции коммуникации пациентов с внешним миром.
Учитывая, что речь – это сложный когнитивный процесс, реализация которого требует скоординированной деятельности целого ряда структур коры больших полушарий, исследовались показатели когерентности ЭЭГ. Указанные показатели позволяли оценить степень взаимодействия различных областей мозга в условиях реального и мысленного проговаривания различных слов, обозначающих направления в пространстве, например, вверх, вниз, вправо, влево, вперед, назад. На первом этапе в исследованиях, проводимых учеными ЮФУ, приняли участие студенты и магистранты университета. Все они не имели опыта участия в психофизиологических обследованиях, были правшами, без отклонений в состоянии здоровья. Эксперимент проводился в соответствии с рекомендациями комиссии по биоэтики Южного федерального университета, разработанной на основе Хельсинской декларации.
Результаты исследования показали, что в условиях реального проговаривания различных слов уровень синхронизации и взаимодействия различных структур мозга заметно повышался, причём наиболее существенно – на частотах гамма-2-ритма (55-70 Гц). Как известно, данным частотам ЭЭГ отводят ведущую роль в реализации когнитивных, то есть познавательных функциях головного мозга. Было показано, что и в условиях мысленного произношения тех же самых слов в левом речевом полушарии мозга также наблюдалось формирование особых пространственных паттернов когерентности, отражающих связь проекционных, речевых областей неокортекса, прежде всего, зон Брока и Вернике. Применение моделей машинного обучения и нейросетевой классификации продемонстрировало значительное сходство мозговых механизмов формирования ординарной (устной) и внутренней (скрытой) речи. Это, в частности, указывает на высокую перспективность использования мысленной речи в рамках разработки устройств в технологии на основе интерфейсов мозг-компьютер (ИМК), обеспечивающих прямое сопряжение активности мозга человека с внешними устройствами, такими как моторизированные кресла, протезы конечностей, речевые коммуникаторы.
«Основная задача на данном этапе – увеличить количество распознаваемых слов, а также совершенствовать методы анализа мозговой активности, в том числе за счёт применения алгоритмов искусственного интеллекта. Использование показателей когерентности и мысленного произнесения слов, полученных в рамках проведённого исследования, может помочь в разработке так называемых речевых «протезов» для парализованных лиц, мысленную речь которых в перспективе станет возможно воспроизвести, например, через «умную» колонку, подключённую к ИМК», – отметил Дмитрий Шапошников.
Разумеется, разработанные методы и подходы должны пройти дополнительное тестирование на конечных потребителях технологии ИМК, а именно, пациентах, утративших по какой-либо причине речь. Их участие предполагается на следующих этапах исследования.
Первые результаты исследования опубликованы в журнале BiomedicalSignal Processing and Control.
