Ученые разработали шлем, который может читать мнения людей и перегонять их в текст

Для регистрации активности мозга использовалась простая шапочка с электродами. Она проводила запись электроэнцефалограммы (ЭЭГ) - стандартной процедуры для диагностики многих диагнозов, связанных с функционированием мозга. Эта методика безопасна даже для детей и не представляет опасности для пациента.

Важно, что она предназначена для чтения мнений. На следующем этапе исследования ученые интегрировали с ЭЭГ обширную языковую модель (LLM) и открытый набор данных ZuCo, что значительно продвинуло этот проект в перспективную категорию.

Данные ZuCo включают в себя информацию о траектории движения глаз пациента во время чтения, а также данные, полученные с помощью электроэнцефалограммы (ЭЭГ). Они включают информацию о времени, которое глаза уделяют каждому слову, о направлении взгляда и его темпе.

При сочетании с искусственным интеллектом (в данном случае, с большой языковой моделью) и данными ЭЭГ, создаются сопоставления, которые затем трансформируются в текст.

Исследователи также разработали платформу DeWave LLM, протестированную на 29 добровольцах. По результатам тестирования установлено, что средняя точность распознавания фраз мысленно составляет 42,8 процента при использовании двуязычной оценочной методики машинного перевода BLEU-1. Достаточно хорошо для неинвазивной технологии чтения мыслей.

В процессе работы система часто использовала синонимы вместо точного воспроизведения сказанных пациентом слов и выражала лучшее понимание глаголов, что можно объяснить ограниченным объемом данных.

Однако опыт показывает, что методику можно улучшить, и здесь есть потенциал для дальнейших исследований. В любом случае, даже при ограничениях, предоставленная возможность важна, особенно для тех, кто сталкивается с проблемами в сфере языка, поскольку это может стать шансом восстановить возможность активного общения.