本研究では、Stable Diffusionを改造したフレームワークを構築し、ラットの大脳皮質から記録した局所場電位を、ノイズの代わりに画像の元として入力することで、ラットの脳の状態に応じてリアルタイムに画像を出力するシステムを実装した。局所場電位とは、ニューロンが発する電気信号を測定したもので、研究グループはこれを1/30秒ごとに切り出し、潜在ベクトルに変換して潜在拡散モデルに入力した。1/30秒ごとに連続する潜在ベクトルは互いに類似しているため、潜在拡散モデルを通して得られる画像もなめらかな推移を示し、脳波の変化に応じて徐々に変化する画像が生成されるという。

　このように脳活動と人工知能を融合した描画システムは前例がなく、本報告が世界初となる。今回はノイズのみを入力して画像を生成しているが、Stable Diffusionは画像生成の指針とする指示文章も入力することができる。そのため、ラットの内部状態を反映する指示文章を与えることで、ラットが興味を持っているときには明るい雰囲気の画像、眠たいときには静かな雰囲気の画像、のようにラットの「気分」に応じた画像生成ができる可能性もあるという。

　今回開発された手法は、脳活動のみならず、心臓や腸蠕動などの他のバイオ信号や、風や波などの自然現象といった、あらゆる時系列信号に応用することができる。この成果は、芸術の創作手法における新しいジャンルを拓くことが期待される。

論文情報：【PLOS ONE】Diffusion model-based image generation from rat brain activity