人が心の中に思い描いたイメージを脳信号から読み出し、画像の種類を限定することなく復元できる技術が世界で初めて実現した。量子科学技術研究開発機構、情報通信研究機構、大阪大学らが共同で開発した。
AIの目覚ましい発展により、ヒトが目で見ている画像は機能的磁気共鳴画像法（fMRI）で計測した脳信号から復元できることが既に示されている。しかし、人が心の中に思い描く画像（メンタルイメージ）については、画像の復元精度が低いことが課題で、これまでアルファベットの文字や単純な幾何学図形などの限られた種類の画像でしか成功していなかった。
これに対し、本研究では、近年注目を集める「生成系AI」、観測データを元に未観測のデータの推定を行う「ベイズ推定」、そして化学分野で原子・分子の動きのシミュレーションに使われる「ランジュバン動力学法」を組み合わせた新手法により、心に描いた任意の風景・物体などの画像を復元することに世界で初めて成功した。
本手法ではまず、1,200枚の風景や物体などの写真をAIに読み取らせ、画像特徴を約613万個の数値で表現した「採点表」を作成した。さらに、同じ写真を被験者が見ている時の1,200枚分の脳信号データを用意し、これらをもとに脳信号から採点表を得る「脳信号翻訳機」を構築した。
脳信号翻訳機を用いて、心に画像を思い浮かべた時の脳信号から採点表を翻訳し、生成系AIにメンタルイメージを描かせるが、このとき、ベイズ推定により採点表からメンタルイメージを推定した上、ランジュバン動力学法の更新ルールに従って画像の評価、修正・更新を繰り返すことで効率的に妥当性の高い画像を生成するのが本手法の新規性といえる。十分な回数（本研究では500回）の修正を行うと、4分ほどの所要時間で、従来手法よりも精度の高いメンタルイメージを復元できたとしている。
本成果は、他者の心の中にある認知や意識を客観的に復元できる技術として、新しい形の意思疎通への応用や、芸術・創作活動への展開、悪夢や幻覚の医療診断を行うブレイン・マシン・インターフェース開発への展開など、多数の可能性を秘めている。
