Интерфейс мозг-компьютер (ИМК)

Теоретическая и экспериментальная разработка проблемы ИМК - базовый проект лаборатории нейрофизиологии и нейро-компьютерных интерфейсов (бывш. Группа изучения мозга человека - ГрИМЧ) на кафедре физиологии человека и животных биологического факультета Московского государственного университета им. М.В.Ломоносова.

Заведует лабораторией и руководит проектами по ИМК в МГУ доктор биологических наук, профессор Александр Яковлевич Каплан.

Работа поддержана грантом #1110034 Фонда "Сколково".

Интерфейс мозг-компьютер (ИМК)* - технология управления "силой мысли". С помощью этой технологии мозг человека получает возможность на основе собственной электрической активности (ЭЭГ) формировать команды для компьютера напрямую, без использования мышц.

* Синонимы: "мозгокомпьютерный интерфейс", "нейрокомпьютерный интерфейс"; "нейроинтерфейс" (более общее понятие); англ.: Brain-Computer Interface (BCI), Brain-Machine Interface (BMI).

Подробнее см. А.Я. Каплан. Нейрокомпьютерный симбиоз: движение силой мысли. - Наука из первых рук, №6 (48) 2012, с. 26-39.

Алгоритмы и подходы

к созданию позиционных и динамических ИМК,
разработанные ННКИ:

«Московский ИМК» для динамических приложений (прямое управление подвижными объектами)
В основу были положены идеи А.Я.Каплана об ЭЭГ как совокупности квазистационарных сегментов и полученные в рамках целого ряда экспериментальных парадигм и подходов данные Каплана с соавт. о функциональной значимости разнообразия паттернов ЭЭГ (см. Публикации). На основе этих исследований были разработаны действующие макеты ИМК, позволяющие человеку управлять движущимися физическими объектами, например, игрушечной машинкой, только «силой мысли», т.е. без мышечных усилий (см. прессу в колонке справа, в т.ч. передачу "Прогресс" и статью Никиты Максимова).

Позиционные ИМК
На Фестивале науки в Москве в сентябре 2009 г. впервые в мире была продемонстрирована работа игрового позиционного ИМК. Каждый желающий мог научиться силой мысли управлять элементами пазла, собирая из них целостные картинки (см. ниже видео).
   Для настройки компьютера на особенности работы мозга игрока требовалось всего 2 минуты регистрации ЭЭГ, а на выбор каждого из 16 элементов пазла - по 8 секунд. Это значительно лучше показателей, достигнутых в мире в подобных демонстрациях ИМК, где требовалась намного более длительная настройка, а быстрый выбор был возможен только из небольшого числа (обычно всего 2) вариантов. Достигнутые характеристики ИМК позволяют эффективно погружаться в игру, и в результате подавляющее большинство из 37 игроков смогли полностью собрать пазл, несмотря на присутствие большого числа зрителей и нередкие помехи со стороны фотовспышек и телекамер.
   В основу разработки были положены результаты экспериментальных исследований, проводившихся студентами Ильей Ганиным и Иваном Басюлом под руководством С.Л.Шишкина (подробнее см. ниже 4. Позиционный ИМК).

Интеллектуальные ИМК
В настоящее время в лаборатории ННКИ ведутся работы по созданию интеллектуальных ИМК нового поколении, способных самонастраиваться на индивидуальные особенности электрической активности мозга человека и автоматически адаптировать свою структуру к реальным возможностям конкретного человека, облегчая и ускоряя его обучение владению искусством «мысленного» управления внешними объектами.

Направления исследований лаборатории ННКИ в области ИМК


Участник Фестиваля науки (Москва, 2009) собирает пазл "силой мысли" с помощью ИМК, разработанного ГрИМЧ.

Другие фото и видео с ИМК
см. внизу страницы.
 

Проф. А.Я.Каплан проводит очередное тестирование интерфейса мозг-компьютер, управляя игрушечной машинкой. Изменения ЭЭГ, связанные с мысленными командами, интерпретируются портативным компьютером и передаются на машинку.

1. Разработка игровых и тренажерных ИМК
Разработка новых типов ИМК, на основе которых создаются развивающие игры и тренажеры.

Предполагается, что игры на основе ИМК: 1) будут развивать внимание и другие полезные качества; 2) смогут обеспечивать особенно глубокое погружение в игровую "реальность", недостижимое в других играх и тренажерах; 3) окажутся областью особенно интенсивного распространения и развития ИМК-технологий, поскольку пользователи компьютерных игр имеют повышенный интерес к новым технологиям и склонность их быстро осваивать.

На основе наших исследований (в частности, см. ниже 4. Позиционный ИМК) создан работающий макет игрового ИМК (см. видео внизу страницы) и ведутся разработки новых типов ИМК со значительно расширенными потребительскими свойствами - в частности, ИМК с предъявлением стимулов на свободно движущихся объектах (см. репортаж из нашей лаборатории в итоговом выпуске "Вести-пятница" канала "Россия-2" за 17 июня 2011 года).

  • A.Y.Kaplan, S.L.Shishkin, I.P.Ganin, I.A.Basyul, A.Y.Zhigalov. Adapting the P300-based brain-computer interface for gaming: a review. IEEE Transactions on Computational Intelligence and AI in Games (Special Issue on Brain/Neuronal-Computer Games Interfaces and Interaction), 2013, in press. [ PDF ]
  • S.L.Shishkin, I.P.Ganin, A.Y.Kaplan. Event-related potentials in a moving matrix modification of the P300 brain–computer interface paradigm. Neuroscience Letters. 2011;496(2):95-99.doi:10.1016/j.neulet.2011.03.089 ] [ PDF ]
  • Ganin I.P., Shishkin S.L., Kaplan A.Y. A P300 BCI with stimuli presented on moving objects. In: Proceedings of the Fifth International BCI Conference 2011. September 22-24, 2011, Graz University of Technology, Austria. Pp. 308-311. [ PDF ]

2. Гибридный ИМК
Разработка новой ИМК-технологии, сочетающей достоинства позиционного ИМК и методов детекции направления взгляда.
Работа поддерживается РФФИ.

3. Неосознаваемое оперантное обусловливание ЭЭГ
Изучение возможности человека изменять режимы работы корковых нейронных сетей своего головного мозга на основе неосознаваемого оперантного обусловливания паттернов ЭЭГ.

В работе А.Я.Каплана и соавторов (2005) было экспериментально доказано, что использование неосознаваемой обратной связи может резко ускорить процесс включения в контур системы человек-машина, а также сделать его доступным для большинства людей.

В этой же работе было продемонстрировано, что парадигмы биологической обратной связи (БОС) и мозгокомпьютерного интерфейса, обычно рассматриваемые как чисто технические приложения ЭЭГ, являются высокоэффективным инструментом для фундаментальных исследований неосознаваемых процессов.

  • A.Ya.Kaplan, J.J.Lim, K.S.Jin, B.W.Park, J.G.Byeon, S.U.Tarasova. Unconscious operant conditioning in the paradigm of brain-computer interface based on color perception. Intern. J. Neuroscience. 2005;115:781-802. [ PDF ]

4. Позиционный ИМК
Исследование психофизиологических механизмов позиционного ИМК и разработка его новых типов.

  • И.П.Ганин, С.Л.Шишкин, А.Г.Кочетова, А.Я.Каплан. Интерфейс мозг-компьютер “на волне P300”: исследование эффекта номера стимулов в последовательности их предъявления. Физиология человека. 2012;38(2):5-13. [ PDF ]
  • Shishkin S.L., Nikolaev A.A., Nuzhdin Y.O., Zhigalov A.Y., Ganin I.P., Kaplan A.Y. Calibration of the P300 BCI with the single-stimulus protocol. In: Proceedings of the Fifth International BCI Conference 2011. September 22-24, 2011, Graz University of Technology, Austria. Pp. 256-259. [ PDF ]
  • Shishkin SL, Ganin IP, Basyul IA, Zhigalov AY, Kaplan AY. N1 wave in the P300 BCI is not sensitive to the physical characteristics of stimuli. J Integr Neurosci. 2009 Dec;8(4):471-85. [ PDF ]
  • С.Л.Шишкин, И.П.Ганин, И.А.Басюл, А.Я.Каплан. Интерфейс мозг-компьютер на основе волны P300: волна N1 и проблема дистракторов. В сб.: Материалы XV Междунар. конф. по нейрокибернетике. 23-25 сентября 2009 г. Изд-во ЮФУ, 2009. Т. 2. Симпозиум "Интерфейс мозг-компьютер". С. 30-33. [ DOC ]

5. Физиотерапевтическое применение неосознаваемого управления цветом посредством ЭЭГ
Изучение возможностей применения в физиотерапевтической практике открытого в лаборатории эффекта неосознаваемого управления цветом (RGB кодом) компьютерного монитора посредством ЭЭГ (Kaplan et al., 2005).

В частности, предполагается, что эффективность используемой в физиотерапии и психотерапии цветостимуляции может быть существенно улучшена, если цветовая гамма стимуляции будет подбираться с помощью разработанного ранее А.Я.Капланом варианта интерфейса мозг-компьютер (см. выше "Неосознаваемое оперантное обусловливание ЭЭГ").


 
См. также:

    Papers • Publications of the Human Brain Research Group. Публикации лаборатории нейрофизиологии и нейрокомпьютерных интерфейсов (бывш. ГрИМЧ) (на русском и английском языках).

    NNCI. Английская версия сайта лаборатории нейрофизиологии и нейрокомпьютерных интерфейсов (бывш. ГрИМЧ) (включает более подробную информацию о сотрудниках).


 

Лекции и дискуссии (видео)

Пресса о наших работах по интерфейсу мозг-компьютер

Видео и фото

 

 

 

 

 

 

 


 

 

Нейрокоммуникаторы (мини-лекция А.Я.Каплана на сайте "Постнаука")

 
>> Все наши ИМК-видео на youtube.com
 


Last updated: November 2, 2011.