Вчені розробили шолом, який може читати думки людей та переганяти їх у текст

Для реєстрації активності мозку використовувалася проста шапочка з електродами. Вона проводила запис електроенцефалограми (ЕЕГ) - стандартної процедури для діагностики багатьох діагнозів, пов'язаних із функціонуванням мозку. Ця методика безпечна навіть для дітей і не становить небезпеки для пацієнта.

Важливо, що вона призначена для читання думок. На наступному етапі дослідження вчені інтегрували з ЕЕГ велику мовну модель (LLM) та відкритий набір даних ZuCo, що значно просунуло цей проект у категорію перспективних.

Дані ZuCo включаютьь інформацію про траєкторію руху очей пацієнта під час читання, а також дані, отримані за допомогою електроенцефалограми (ЕЕГ). Вони включають інформацію про час, який очі приділяють кожному слову, про напрям погляду і його темп.

При поєднанні зі штучним інтелектом (у данному випадку, з великою мовною моделлю) і даними ЕЕГ, створюються зіставлення, які потім трансформуються у текст.

Дослідники також розробили платформу DeWave LLM, яку протестували на 29 добровольцях. За результатами тестування встановлено, що середня точність розпізнавання подумки фраз становить 42,8 відсотка при використанні двомовної оцінної методики машинного перекладу BLEU-1. Досить непогано для неінвазивної технології читання думок.

У процесі роботи система часто використовувала синоніми замість точного відтворення сказаних пацієнтом слів і виявляла краще розуміння дієслів, що можна пояснити обмеженим обсягом даних.

Проте досвід показує, що методику можна покращити, і тут є потенціал для подальших досліджень. У будь-якому випадку, навіть при обмеженнях, надана можливість важлива, особливо для тих, хто стикається з проблемами у сфері мови, оскільки це може стати шансом відновити можливість активного спілкування.