Исследователи из Инженерной школы Университета Южной Калифорнии в Витерби используют генеративно-состязательные сети (GAN) - технологию, наиболее известную благодаря созданию дипфейковых видео и фотореалистичных человеческих лиц - для улучшения интерфейсов мозг-компьютер для людей с ограниченными возможностями.
В статье, опубликованной в журнале Nature Biomedical Engineering, команда успешно научила ИИ генерировать синтетические данные об активности мозга. Данные, в частности нейронные сигналы, называемые последовательностями спайков, могут быть переданы в алгоритмы машинного обучения для повышения удобства использования интерфейсов мозг-компьютер (BCI).
Системы BCI работают, анализируя сигналы мозга человека и переводя эту нейронную активность в команды, позволяя пользователю управлять цифровыми устройствами, такими как компьютерные курсоры, используя только свои мысли. Эти устройства могут улучшить качество жизни людей с двигательной дисфункцией или параличом, даже тех, кто борется с синдромом запертости, когда человек находится в полном сознании, но не может двигаться или общаться.
Различные формы BCI уже доступны, от колпачков, которые измеряют сигналы мозга, до устройств, имплантированных в ткани мозга. Постоянно выявляются новые варианты использования, от нейрореабилитации до лечения депрессии. Но, несмотря на все эти обещания, оказалось непросто сделать эти системы достаточно быстрыми и надежными для реального мира.
В частности, чтобы понять смысл своих входных данных, BCI требуется огромное количество нейронных данных и длительные периоды обучения, калибровки и обучения.
«Получение достаточного количества данных для алгоритмов, обеспечивающих работу BCI, может быть трудным, дорогим или даже невозможным, если парализованные люди не в состоянии производить достаточно надежные мозговые сигналы», - сказал Лоран Итти, профессор компьютерных наук и соавтор исследования. автор.
Еще одно препятствие: технология специфична для каждого пользователя и должна обучаться с нуля для каждого человека.
Генерация синтетических неврологических данных
Что, если вместо этого вы могли бы создать синтетические неврологические данные - искусственно сгенерированные компьютером данные - которые могли бы «заменять» данные, полученные из реального мира?
Войдите в генеративно-состязательные сети. Известные созданием «глубоких подделок», сети GAN могут создавать практически неограниченное количество новых похожих изображений, выполняя процесс проб и ошибок.
Ведущий автор Шисян Вэнь, доктор философии. студент, которого посоветовал Итти, задался вопросом, могут ли GAN также создавать обучающие данные для BCI, генерируя синтетические неврологические данные, неотличимые от реальных.
В эксперименте, описанном в статье, исследователи обучили синтезатор шипов с глубоким обучением с помощью одного сеанса данных, записанных от обезьяны, пытающейся добраться до объекта. Затем они использовали синтезатор для генерации большого количества похожих, хотя и поддельных, нейронных данных.
Затем команда объединила синтезированные данные с небольшим количеством новых реальных данных - либо от той же обезьяны в другой день, либо от другой обезьяны - для обучения BCI. Благодаря этому подходу система заработала намного быстрее, чем текущие стандартные методы. Фактически, исследователи обнаружили, что нейронные данные, синтезированные с помощью GAN, улучшили общую скорость обучения BCI до 20 раз.
«Реальные данные менее чем за минуту в сочетании с синтетическими данными работают так же, как и 20 минут реальных данных», - сказал Вэнь.
"Впервые мы увидели, как ИИ генерирует рецепт мысли или движения посредством создания синтетических поездов с шипами. Это исследование является важным шагом на пути к тому, чтобы сделать BCI более подходящими для использования в реальных условиях."
Кроме того, после тренировки на одном экспериментальном сеансе система быстро адаптировалась к новым сеансам или субъектам, используя ограниченные дополнительные нейронные данные.
«В этом заключается большая инновация - создание фальшивых поездов с шипами, которые выглядят так, как будто они исходят от этого человека, когда они воображают, что делают разные движения, а затем также используют эти данные, чтобы помочь в обучении следующего человека», - сказал Итти.
Помимо BCI, синтетические данные, сгенерированные GAN, могут привести к прорыву в других упомянутых Itti. «Что касается использования GAN для улучшения интерфейсов мозг-компьютер, я думаю, что это только начало».
Документ был написан в соавторстве с Томмазо Фурланелло, доктором философии Университета Южной Калифорнии. выпускник; Аллен Инь из Facebook; М. Г. Перич из Женевского университета и Л. Е. Миллер из Северо-Западного университета.