東京大学の研究グループは、ラットの脳活動に応じて画像が出力されるシステムを開発した。Stability AI社の「Stable Diffusion」は、文章から画像を生成するいわゆる生成AIのひとつで、オープンソースとして公開されている。潜在拡散モデルという人工知能を応用しており、生成の元となるノイズを入力することで、画像を作り出すことができる。
本研究では、Stable Diffusionを改造したフレームワークを構築し、ラットの大脳皮質から記録した局所場電位を、ノイズの代わりに画像の元として入力することで、ラットの脳の状態に応じてリアルタイムに画像を出力するシステムを実装した。局所場電位とは、ニューロンが発する電気信号を測定したもので、研究グループはこれを1/30秒ごとに切り出し、潜在ベクトルに変換して潜在拡散モデルに入力した。1/30秒ごとに連続する潜在ベクトルは互いに類似しているため、潜在拡散モデルを通して得られる画像もなめらかな推移を示し、脳波の変化に応じて徐々に変化する画像が生成されるという。
このように脳活動と人工知能を融合した描画システムは前例がなく、本報告が世界初となる。今回はノイズのみを入力して画像を生成しているが、Stable Diffusionは画像生成の指針とする指示文章も入力することができる。そのため、ラットの内部状態を反映する指示文章を与えることで、ラットが興味を持っているときには明るい雰囲気の画像、眠たいときには静かな雰囲気の画像、のようにラットの「気分」に応じた画像生成ができる可能性もあるという。
今回開発された手法は、脳活動のみならず、心臓や腸蠕動などの他のバイオ信号や、風や波などの自然現象といった、あらゆる時系列信号に応用することができる。この成果は、芸術の創作手法における新しいジャンルを拓くことが期待される。
論文情報：【PLOS ONE】Diffusion model-based image generation from rat brain activity
