情報通信研究機構(NICT)、埼玉大学、慶應義塾大学の研究グループは、半導体レーザーから生じる光カオスを用いて、超高速フォトニクスを応用した強化学習に世界で初めて成功した。
現代の人工知能(AI)を支える機械学習には「深層学習」と「強化学習」と呼ばれる技術が重要だ。強化学習とは未知な環境で試行錯誤をしながら学習を行う方法。その中心的課題に「多数のスロットマシンが並んだカジノで、儲けを最大にするにはどのようにするとよいか」という問題(=「多本腕バンディット問題」)がある。
儲けの最大化には当たり台の試し打ちが必要だが、試し打ちをし過ぎれば損をし、早めの打ち切りは当たり台を見逃すことになる。この「探索」か「決断」かの問題の解決はランダムに台を選ぶことで、従来はコンピューター上で計算手順に基づいて生成する「擬似乱数」を用いていたが時間がかかり、乱数の「質」にも限界があった。そこで、研究グループは、「自然界の物理現象を直接用いた強化学習」を提案し、単一光子を用いた方式の実現に成功していた。
今回の研究では、半導体レーザーを用いた時に生じる光の「カオス現象」(注)を用い、2台のスロットマシンから当たり確率の高い台を選ぶ問題の超高速な解決を実現した。半導体レーザーから生成したレーザーカオス光を高速にサンプリングし、「過去の戦歴」に基づいた「閾値」との大小判定のみで意思決定を行う。これにより情報の入力から出力までの時間で10億分の1秒 (1ナノ秒)という高速な意思決定を実現、疑似乱数による従来法よりも優れた性能を示した。今後、周波数の瞬時の割当てなど、AIやIoTの基盤技術として大きく貢献することが期待される。
(注)半導体レーザーからの出射光を鏡で反射させてレーザーに戻すと、レーザーの動作が不安定化しカオス(初期状態の小差が時間を経て爆発的に増大する現象)が生じる現象。
論文情報:【Scientific Reports】Ultrafast photonic reinforcement learning based on laser chaos