На этой странице:

Алгортимы и подходы

Исследования

Видео и фото

См. также:

О лаборатории нейрофизиологии и нейрокомпьютерных интерфейсов (бывш. ГрИМЧ)

Другие темы наших исследований

ТВ о нашей работе и другие ИМК-видео (на youtube.com)

«Московский ИМК» для динамических приложений (прямое управление подвижными объектами)
В основу были положены идеи А.Я.Каплана об ЭЭГ как совокупности квазистационарных сегментов и полученные в рамках целого ряда экспериментальных парадигм и подходов данные Каплана с соавт. о функциональной значимости разнообразия паттернов ЭЭГ (см. Публикации). На основе этих исследований были разработаны действующие макеты ИМК, позволяющие человеку управлять движущимися физическими объектами, например, игрушечной машинкой, только «силой мысли», т.е. без мышечных усилий (см. прессу в колонке справа, в т.ч. передачу "Прогресс" и статью Никиты Максимова).

Позиционные ИМК
На Фестивале науки в Москве в сентябре 2009 г. впервые в мире была продемонстрирована работа игрового позиционного ИМК. Каждый желающий мог научиться силой мысли управлять элементами пазла, собирая из них целостные картинки (см. ниже видео).
   Для настройки компьютера на особенности работы мозга игрока требовалось всего 2 минуты регистрации ЭЭГ, а на выбор каждого из 16 элементов пазла - по 8 секунд. Это значительно лучше показателей, достигнутых в мире в подобных демонстрациях ИМК, где требовалась намного более длительная настройка, а быстрый выбор был возможен только из небольшого числа (обычно всего 2) вариантов. Достигнутые характеристики ИМК позволяют эффективно погружаться в игру, и в результате подавляющее большинство из 37 игроков смогли полностью собрать пазл, несмотря на присутствие большого числа зрителей и нередкие помехи со стороны фотовспышек и телекамер.
   В основу разработки были положены результаты экспериментальных исследований, проводившихся студентами Ильей Ганиным и Иваном Басюлом под руководством С.Л.Шишкина (подробнее см. ниже 4. Позиционный ИМК).

Интеллектуальные ИМК
В настоящее время в лаборатории ННКИ ведутся работы по созданию интеллектуальных ИМК нового поколении, способных самонастраиваться на индивидуальные особенности электрической активности мозга человека и автоматически адаптировать свою структуру к реальным возможностям конкретного человека, облегчая и ускоряя его обучение владению искусством «мысленного» управления внешними объектами.

Направления исследований лаборатории ННКИ в области ИМК

Участник Фестиваля науки (Москва, 2009) собирает пазл "силой мысли" с помощью ИМК, разработанного ГрИМЧ. Другие фото и видео с ИМК см. внизу страницы.   Проф. А.Я.Каплан проводит очередное тестирование интерфейса мозг-компьютер, управляя игрушечной машинкой. Изменения ЭЭГ, связанные с мысленными командами, интерпретируются портативным компьютером и передаются на машинку.

1. Разработка игровых и тренажерных ИМК Разработка новых типов ИМК, на основе которых создаются развивающие игры и тренажеры. Предполагается, что игры на основе ИМК: 1) будут развивать внимание и другие полезные качества; 2) смогут обеспечивать особенно глубокое погружение в игровую "реальность", недостижимое в других играх и тренажерах; 3) окажутся областью особенно интенсивного распространения и развития ИМК-технологий, поскольку пользователи компьютерных игр имеют повышенный интерес к новым технологиям и склонность их быстро осваивать. На основе наших исследований (в частности, см. ниже 4. Позиционный ИМК) создан работающий макет игрового ИМК (см. видео внизу страницы) и ведутся разработки новых типов ИМК со значительно расширенными потребительскими свойствами - в частности, ИМК с предъявлением стимулов на свободно движущихся объектах (см. репортаж из нашей лаборатории в итоговом выпуске "Вести-пятница" канала "Россия-2" за 17 июня 2011 года). A.Y.Kaplan, S.L.Shishkin, I.P.Ganin, I.A.Basyul, A.Y.Zhigalov. Adapting the P300-based brain-computer interface for gaming: a review. IEEE Transactions on Computational Intelligence and AI in Games (Special Issue on Brain/Neuronal-Computer Games Interfaces and Interaction), 2013, in press. [ PDF ] S.L.Shishkin, I.P.Ganin, A.Y.Kaplan. Event-related potentials in a moving matrix modification of the P300 brain–computer interface paradigm. Neuroscience Letters. 2011;496(2):95-99. [ doi:10.1016/j.neulet.2011.03.089 ] [ PDF ] Ganin I.P., Shishkin S.L., Kaplan A.Y. A P300 BCI with stimuli presented on moving objects. In: Proceedings of the Fifth International BCI Conference 2011. September 22-24, 2011, Graz University of Technology, Austria. Pp. 308-311. [ PDF ]

2. Гибридный ИМК
Разработка новой ИМК-технологии, сочетающей достоинства позиционного ИМК и методов детекции направления взгляда.
Работа поддерживается РФФИ.

3. Неосознаваемое оперантное обусловливание ЭЭГ
Изучение возможности человека изменять режимы работы корковых нейронных сетей своего головного мозга на основе неосознаваемого оперантного обусловливания паттернов ЭЭГ.

В работе А.Я.Каплана и соавторов (2005) было экспериментально доказано, что использование неосознаваемой обратной связи может резко ускорить процесс включения в контур системы человек-машина, а также сделать его доступным для большинства людей.

В этой же работе было продемонстрировано, что парадигмы биологической обратной связи (БОС) и мозгокомпьютерного интерфейса, обычно рассматриваемые как чисто технические приложения ЭЭГ, являются высокоэффективным инструментом для фундаментальных исследований неосознаваемых процессов.

• A.Ya.Kaplan, J.J.Lim, K.S.Jin, B.W.Park, J.G.Byeon, S.U.Tarasova. Unconscious operant conditioning in the paradigm of brain-computer interface based on color perception. Intern. J. Neuroscience. 2005;115:781-802. [ PDF ]

4. Позиционный ИМК
Исследование психофизиологических механизмов позиционного ИМК и разработка его новых типов.

• И.П.Ганин, С.Л.Шишкин, А.Г.Кочетова, А.Я.Каплан. Интерфейс мозг-компьютер “на волне P300”: исследование эффекта номера стимулов в последовательности их предъявления. Физиология человека. 2012;38(2):5-13. [ PDF ]
• Shishkin S.L., Nikolaev A.A., Nuzhdin Y.O., Zhigalov A.Y., Ganin I.P., Kaplan A.Y. Calibration of the P300 BCI with the single-stimulus protocol. In: Proceedings of the Fifth International BCI Conference 2011. September 22-24, 2011, Graz University of Technology, Austria. Pp. 256-259. [ PDF ]
• Shishkin SL, Ganin IP, Basyul IA, Zhigalov AY, Kaplan AY. N1 wave in the P300 BCI is not sensitive to the physical characteristics of stimuli. J Integr Neurosci. 2009 Dec;8(4):471-85. [ PDF ]
• С.Л.Шишкин, И.П.Ганин, И.А.Басюл, А.Я.Каплан. Интерфейс мозг-компьютер на основе волны P300: волна N1 и проблема дистракторов. В сб.: Материалы XV Междунар. конф. по нейрокибернетике. 23-25 сентября 2009 г. Изд-во ЮФУ, 2009. Т. 2. Симпозиум "Интерфейс мозг-компьютер". С. 30-33. [ DOC ]

5. Физиотерапевтическое применение неосознаваемого управления цветом посредством ЭЭГ
Изучение возможностей применения в физиотерапевтической практике открытого в лаборатории эффекта неосознаваемого управления цветом (RGB кодом) компьютерного монитора посредством ЭЭГ (Kaplan et al., 2005).

В частности, предполагается, что эффективность используемой в физиотерапии и психотерапии цветостимуляции может быть существенно улучшена, если цветовая гамма стимуляции будет подбираться с помощью разработанного ранее А.Я.Капланом варианта интерфейса мозг-компьютер (см. выше "Неосознаваемое оперантное обусловливание ЭЭГ").

 
См. также:

Papers • Publications of the Human Brain Research Group. Публикации лаборатории нейрофизиологии и нейрокомпьютерных интерфейсов (бывш. ГрИМЧ) (на русском и английском языках).

NNCI. Английская версия сайта лаборатории нейрофизиологии и нейрокомпьютерных интерфейсов (бывш. ГрИМЧ) (включает более подробную информацию о сотрудниках).

Лекции и дискуссии (видео)

• Лекция А.Я.Каплана Интерфейс мозг-компьютер: теоретическая коллизия, экспериментальная парадигма, практическая необходимость или бизнес-проект? 1-я Всероссийская научная школа "В будущее наук о мозге и интеллекте" (Бекасово, Моск. обл., 6 ноября 2009 г.) Видео + слайды.
• Мини-лекция А.Я.Каплана Нейрокоммуникаторы. Постнаука, 24.01.2013.
• «Человеческий мозг: вопросы настоящего и будущего» - А.Я.Каплан и Вольф Зингер (директор Института по исследованию мозга им. Макса Планка, Германия) в Политехническом музее 23 сентября 2010 г.: Зингер, Каплан (1), Каплан (2), ответы на вопросы. Более полную запись (но без ответов на вопросы и без перевода с немецкого) см. на сайте Infox.ru, где шла прямая трансляция.
• Лекция А.Я.Каплана Mind reading или Чтение мозга на телеканале "Дождь".
• Человеческому мозгу уже некуда расти (беседа с А.Я.Капланом на телеканале "Дождь").
• Выступление Сергея Шишкина на Московском семинаре по когнитивной науке 25 ноября 2010 г. "Интерфейс мозг-компьютер: технология или наука?" [1], [2], [3], [4]
• ЭЭГ - рассказ Сергея Шишкина о сигнале, генерируемом мозгом и используемом в ИМК (сайт "Постнаука").

Пресса о наших работах по интерфейсу мозг-компьютер