Вы только подумали, а она уже нарисовала: как нейросеть научили читать мысли

Специалисты по «пограничным биологическим наукам» из Университета Осаки научили известную нейросеть рисовать картинки «прямо из головы» человека. Испытания показали: искусственный интеллект способен считывать наши мысли с точностью 80%.

Команда взяла для работы нейронную сеть для преобразования текста в изображения с глубоким обучением Dall-E 2 от американской компании OpenAI. В эксперименте участвовали четверо добровольцев, каждому из них ученые показывали поочередно фотографии — в общей сложности десять тысяч изображения. И фиксировали при этом мозговую активность с помощью МРТ. ИИ расшифровывал снимки и должен был реконструировать то, что он «увидел» на сканах.

МРТ для наблюдений было выбрано потому, что она обнаруживает молекулы кислорода там, где нейроны мозга активно работают и потребляют больше кислорода — это происходит, когда человек думает или испытывает эмоции. Таким образом МРТ улавливает изменения кровотока в активных областях.

По словам авторов нового алгоритма, информация извлекается из затылочной и височной долей мозга, отвечающих за восприятие изображений. ИИ основывается на своем опыте — картинках, на которых его обучили, и находит совпадения в активности мозга. Сначала он «рисует» что-то вроде помех на телеэкране, а затем добавляет все больше нюансов.

«Мы демонстрируем, что наша простая структура может восстанавливать изображения с высоким разрешением (512x512) из активности мозга с высокой семантической точностью. В отличие от предыдущих исследований реконструкции изображений, наш метод не требует тонкой настройки сложных моделей глубокого обучения», — пишут ученые в исследовании, опубликованном на портале bioRxiv.

Авторы показали два ряда изображений: сверху те, которые были показаны участникам, а под ними то, что считал из их мыслей искусственный интеллект. Он смог реконструировать около 1000 снимков с точностью 80%, среди них плюшевый мишка, самолет, лыжник на склоне, башня с часами и другие.

Мировое научное сообщество не первый год работает над объединением искусственного интеллекта с различными сканерами мозга, в том числе МРТ и другой аппаратурой. По мнению специалистов, это ключ к решению таких проблем, как возможность общения для людей с нарушениями речи и различными параличами, а также к открытию внутреннего мира человека.