В связи с техническими работами в центре обработки данных, часть прикреплённых файлов в настоящее время недоступна.
 
скрыть

Исследование нейро- и психофизиологических механизмов взаимодействия мозг-компьютер на основе регистрации ЭЭГ и разработка новых нейротехнологий с использованием элементов искусственного интеллектаНИР

The study of neuro- and psychophysiological mechanisms of brain-computer interaction based on the registration of EEG and the development of new neurotechnologies using elements of artificial intelligence

Источник финансирования НИР

госбюджет, раздел 0110 (для тем по госзаданию)

Этапы НИР

# Сроки Название
1 1 января 2021 г.-31 декабря 2021 г. Исследование нейро- и психофизиологических механизмов взаимодействия мозг-компьютер на основе регистрации ЭЭГ и разработка новых нейротехнологий с использованием элементов искусственного интеллекта
Результаты этапа: Часть 1. Заключение. В поиске новых эффективных решений для целей медицинской реабилитации двигательных нарушений настоящее исследование было посвящено изучению влияния процесса наблюдения за простыми движениями пальцев виртуальной руки на активность коры мозга в связи. Целью этой части исследования было выявление закономерностей процессов активации сенсомоторных отделов коры при наблюдении движений в различных условиях. В трех экспериментальных сериях был проведен анализ динамики амплитудно-частотных характеристик сенсомоторных ритмов ЭЭГ и уровня кортикоспинальной возбудимости в условиях пассивного наблюдения движений, подготовки и ожидания наблюдения движений, а также при активном наблюдении движений, когда оно демонстрировалось испытуемому как результат когнитивных усилий, то есть в качестве сигнала обратной связи в контуре ИМК на основе волны Р300. Результаты выполненных серий экспериментальных тестирований должны были позволить определить закономерности процессов активации кортикальных центров двигательной системы мозга при наблюдении за движениями со стороны, а также выявить влияние контекста, создаваемого задачей ИМК-управления, на процесс восприятия наблюдаемых движений, которые в рамках этой задачи являлись стимулами обратной связи. В первой серии экспериментов было показано, что даже пассивное наблюдение за простыми нетранзитивными движениями приводит к развитию десинхронизации сенсомоторной ЭЭГ-активности в альфа- и бета-диапазонах частот, однако, каких-либо изменений кортикоспинальной возбудимости выявлено не было. Более того, как показали результаты дальнейших экспериментов, кортикоспинальная возбудимость при наблюдении движений значимо снижается уже к первой секунде движения, наблюдаемого пассивным образом. Восприятие же движений, инициируемых усилиями самого испытуемого в контуре ИМК-Р300, было ассоциациированно с процессами оценки результативности собственного поведения по управлению ИМК-Р300. Эти процессы нашли свое отражение компонентах ПСС, связанных с ошибочной обратной связью (потенциал Pe), а также, вероятно, стали причиной различий в динамике амплитуды сенсомоторной ЭЭГ-активности при восприятии корректных и ошибочных, но визуально полностью одинаковых движений. Таким образом, контекст ИМК-обратной связи повлиял на активацию сенсомоторных контуров мозга при наблюдении за движениями пальцев виртуальной кисти. Особенно чувствительным к наблюдению некорректных движений оказался компонент бета-синхронизации, реагировавший повышением амплитуды в ответ на ошибочное срабатывание ИМК. Также при таком активном наблюдении движений в рамках работы с нейроинтерфейсом было обнаружено повышение уровня кортикоспинальной возбудимости. Повышение возбудимости было заругистрирвоано и в период ожидания обратной связи. Этот эффект, вероятно, определяется прогностическими процессами, которые являются также важной частью системы мониторинга ошибок. Ожидание возможных результатов поведения в исследуемой парадигме могло быть связано с представлением целевого движения виртуального пальца. Формирование такого зрительного образа необходимо для осуществления дальнейших процессов сравнения реального и ожидаемого результатов. В то же время ожидание движения в пассивной парадигме (вне контура нейроинтерфейса, когда движения демонстрировались испытуемому в отрыве от задачи ИМК-управления) привело к снижению уровня возбудимости кортикоспинального тракта, что проявилось в уменьшении амплитуды МВП еще до начала демонстрации движения пальца, в период подготовки к наблюдению за ним. Важным критерием терапевтического потенциала новой техники двигательной реабилитации для пациентов с тяжелыми двигательными нарушениями является наличие ее активирующего влияния на сенсомоторные контуры мозга, что в свою очередь может служить свидетельством запуска процессов нейрональной пластичности. В настоящем исследовании парадигма с наблюдением за движениями, инициируемыми непосредственно пользователем в контуре ИМК на основе волны Р300 показала свою эффективность в задачах повышения возбудимости сенсомоторных отделов коры мозга. Было обнаружено, что наблюдение испытуемыми таких движений, демонстрируемых в качестве обратной связи в контуре ИМК-Р300, приводит к выраженным изменениям амплитуды сенсомоторных ритмов ЭЭГ, а также вызывает повышение уровня кортикоспинальной возбудимости. Таким образом, полученные в настоящей работе результаты, открывают новые перспективы для внедрения технологии ИМК-Р300 в практику нейрореабилитации, позволяя предложить исследованную ИМК-парадигму наблюдения за движениями в качестве тренажерной технологии для задач двигательного восстановления после нарушения функций нейронных контуров сенсомоторных отделов коры. а также могут быть использованы для создания протоколов реабилитации с использованием терапии с наблюдением за движениями.   Часть 2. Заключение. Результаты, полученные в рамках данного исследования, создают основу для разработки нового поколения нейроинтерфейсов, которые будут принципиально отличаться наличием систем искусственного интеллекта, обеспечивающих подстроку алгоритмов к индивидуальным психофизиологическим особенностям пользователей. Такая система позволит уменьшить объем данных, требуемый для выбора каждой команды, а также увеличить число потенциальных уверенных пользователей технологии интерфейсов мозг-компьютер. Уменьшенное за счет этого время отклика ИМК также будет способствовать более интуитивному процессу обучения работы в интерфейсе, для которого важно быстрое получение обратной связи по результатам мыслительной деятельности субъекта. Последний аспект является крайне актуальным для освоения технологии проблемными группами пользователей, в том числе в клинике. Часть 3. Заключение. В результате разработки регламента специального психофизиологического тестирования, включающего многократное предъявление на экране слов для их прочтения «про себя» и одновременную запись ЭЭГ, было выполнено 115 таких сессий с участием 115 испытуемых в регламенте с многократном предъявлении простых слов на экране компьютера в трех экспериментальных условиях: произнесением этих слов вслух, проговариванием про себя, наблюдением надписи без проговаривания. Все записи ЭЭГ были тщательно снабжены метками моментов предъявления слов и их специфики, а также метками межстимульных интервалов. Таким образом, задача этой части работы была выполнена в виде подготовки пакета размеченных записей ЭЭГ для последующего компьютерного анализа. Сформулированы также предложения по развитию последующих исследований, направленных на достижение целей проекта.
2 1 января 2022 г.-31 декабря 2022 г. Исследование нейро- и психофизиологических механизмов взаимодействия мозг-компьютер на основе регистрации ЭЭГ и разработка новых нейротехнологий с использованием элементов искусственного интеллекта
Результаты этапа: Итоги этапа № 2 по НИР «Исследование нейро- и психофизиологических механизмов взаимодействия мозг-компьютер на основе регистрации ЭЭГ и разработка новых нейротехнологий с использованием элементов искусственного интеллекта. Подведем итоги этапа № 2 в соответствии с планировавшимися результатами. Ожидаемый результат 1. Получены новые данные об особенностях вариативности ЭЭГ-реакций, связанных с вниманием пользователя к командным стимулам в ИМК-P300, и показана эффективность учета таких вариаций для более адекватной оценки реакций внимания к стимулам и их классификации в интерфейсе мозг-компьютер. Изучены эффекты зависимости вариативности реакций ВП от различных параметров стимульной среды и режимов взаимодействия пользователя с интерфейсом мозг-компьютер. Итог 1. Выполнено экспериментальное исследование вариативности амплитуды компонентов потенциалов связанных с событием (ПСС), возникающих у человека-оператора интерфейса мозг-компьютер на основе волны П300 при подсветках экранных символов. Предполагалось, что эта вариабельность является отражением природной вариации фокуса внимания к экранным стимулам и текущей изменчивости ЭЭГ, на фоне которой выделяются компоненты П300. Исследование было мотивировано гипотезой о том, что учет этой естественной вариативности вариативности П300, в частности, по латентности пиковой амплитуды, может существенно повысить точность классификации ПСС, по которым делается автоматический вывод о принадлежности той или иной реакции ЭЭГ к ответу на значимый экранный стимул. Была разработана и протестирована методика анализа единичных мозговых реакций, позволяющая изучать эффекты вариативности ПСС, в результате чего были выявлены некоторые особенности данных эффектов в зависимости от параметров стимульной среды ИМК-P300 и режимов взаимодействия пользователя с интерфейсом. После вычисления усредненных ПСС с поправкой на сдвиги латентности пиков в связи с вариативностью сигнала, прежде всего, было показано, что форма скорректированных ПСС существенно отличается от ПСС без поправок на колебания латентности. В офф-лайн анализе данных последовательных ПСС при работе испытуемого в контуре ИМК П300 при введении алгоритма коррекции на вариативность была достигнута существенно более высокая (на 10-20%) точность детектирования значимых для испытуемого символов на экране. Разработанный подход позволяет более адекватно оценивать реакции внимания пользователя к командным стимулам в ИМК, что дополняет психофизиологический инструментарий при изучении внимания человека с одной стороны, и создает основу для создания более совершенных в практическом аспекте нейрокомпьютерных интерфейсов – с другой стороны. Ожидаемый результат 2. Разработан и апробирован в комплекс методических подходов для модификации алгоритмов предобработки и классификации сигнала, учитывающий вариативность вызванных ЭЭГ-реакций - основа для новых поколений интерфейсов мозг-компьютер. Итог 2. Практичным результатом исследования по п. 1 (Итог 1) стала разработка и создание алгоритмов предобработки и классификации ПСС при выборе команд в ИМК, которые позволили учитывать эффекты вариативности компонентов ПСС. Это стало возможным благодаря настроенной и протестированной в реальном эксперименте в контуре ИМК П300 модификации методики анализа единичных ЭЭГ-реакций при наблюдении испытуемым за подсветками экранных символов. Эти модификации заключались в том, что при формировании признаков для классификатора единичные эпохи подвергались корректировке латентности на основе отдельных пиков ПСС, определяемых независимо в каждой эпохе и каждом канале ЭЭГ. Такой алгоритм позволил получить существенное повышение точности классификации в режиме оффлайн. При этом наибольший эффект повышения точности классификации наблюдался при наименьшем числе повторных подсветок стимулов. Практическая ценность полученных новых алгоритмов для ИМК П300 заключается в возможности существенной оптимизации имеющихся ИМК комплексов на волне П300, и для разработки в перспективе адаптивных ИМК-систем, которые смогут подстраиваться под индивидуальные психофизиологические особенности пользователя, значимость которых может быть особенно высокой при использовании в клинике. Ожидаемый результат 3. Выполнено исследование паттернов сенсомоторных ритмов с корегистрацией многоканальной ЭЭГ и МЭГ при представлении движений и выполнении задач на эксплицитное и имплицитное представление. Проверена гипотеза о наличии независимых сенсомоторных сетей, ответственных за десинхронизацию и синхронизацию бета-осцилляций. ПРИМЕЧАНИЕ: Поскольку оборудование МЭГ который оказалось в связи продолжавшимися ограничениями по ковиду и некоторым другим обстоятельствам системного характера, вместо тестирования с МЭГ выполнено исследование с методикой транскраниальной магнитной стимуляцией для тестирования кортико-спинальной возбудимости на фоне наблюдения за движениями. Итог 3. Проблема, на решение которой было направлено исследование № 3 состояла в том, чтобы приблизиться к пониманию особенностей работы нейронных сетей, определяющих мю- и бета- ритмику ЭЭГ при возникновении у человека мысленных образов движения кисти в процессе за наблюдением этого движения на экране компьютера. Основным вопросом было, что именно откликается в динамике показателей мю- и бета-ритмике ЭЭГ: собственно движение пальцев кисти, или не только это, но и то, насколько биологически целесообразным является это движение. В работе тестировались естественное сгибание пальца и неестественное – выгибание в сторону тыльной поверхности ладони. В настоящей работе было обнаружено, что пассивное наблюдение простых движений пальца виртуальной руки на экране компьютера приводит к десинхронизации сенсомоторных ритмов ЭЭГ, которая развивалась синхронно с динамикой амплитуды сгибания пальца. Кроме того, такие показатели реакции ЭЭГ как десинхронизация мю-ритма и N400 в центрально-теменных отведениях были чувствительны к анатомической неконгруэнтности наблюдаемых движений, в то время как амплитуда бета-десинхронизации не зависела от биологической действия. Таким образом, наши данные указывают на функциональную специфичность различных корковых механизмов, отвечающих за активное наблюдение, и лежащих в основе зеркального отражения различных признаков наблюдаемого действия. Эти результаты могут быть использованы для расширения концептуальной основы происхождения компонента N400 таким образом, чтобы учитывать не только наблюдение биологических несоответствий конкретного действия, но и его общее соответствие сенсомоторному опыту участника. Соответственно, N400 может быть важным маркером активности систем ЗК при распознавании действия в дальнейших исследованиях, в том числе и с использованием этих ЭЭГ-маркеров в контурах ИМК. По итогам работы в 2022 году опубликованы 2 статьи, еще 2 статьи готовятся к публикации, а также принято участие в 3 конференциях. Статьи: Ганин И.П., Каплан А.Я. Изучение эффектов вариативности потенциалов мозга человека в интерфейсе мозг–компьютер на волне P300. Вестник Российского государственного медицинского университета. 2022; 3: 78-85 Syrov N., Bredikhin D., Yakovlev L., Miroshnikov A., Kaplan A. Mu-desynchronization, N400 and corticospinal excitability during observation of natural and anatomically unnatural finger movements. // Frontiers in Human Neuroscience, Sec. Motor Neuroscience 2022. 02 September - том 16 – DOI org/10.3389/fnhum.2022.973229).
3 1 января 2023 г.-31 декабря 2023 г. Исследование нейро- и психофизиологических механизмов взаимодействия мозг-компьютер на основе регистрации ЭЭГ и разработка новых нейротехнологий с использованием элементов искусственного интеллекта
Результаты этапа:
4 1 января 2024 г.-31 декабря 2024 г. Исследование нейро- и психофизиологических механизмов взаимодействия мозг-компьютер на основе регистрации ЭЭГ и разработка новых нейротехнологий с использованием элементов искусственного интеллекта
Результаты этапа:
5 1 января 2025 г.-31 декабря 2025 г. Исследование нейро- и психофизиологических механизмов взаимодействия мозг-компьютер на основе регистрации ЭЭГ и разработка новых нейротехнологий с использованием элементов искусственного интеллекта
Результаты этапа:
6 1 января 2026 г.-31 декабря 2026 г. Исследование нейро- и психофизиологических механизмов взаимодействия мозг-компьютер на основе регистрации ЭЭГ и разработка новых нейротехнологий с использованием элементов искусственного интеллекта
Результаты этапа:

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".