将棋盤面と持ち駒をスマートフォンで撮影してWebサーバに送信すると、AI（人工知能）が即座に認識して局面データとして変換するWebアプリを、東京農工大学大学院工学府の佐藤旭さん（博士前期課程2年）と森住啓さん（博士前期課程1年）が開発した。
将棋盤の画像認識は、「将棋盤の枠の認識」、「将棋盤に乗っている駒の認識」、「将棋盤に乗っていない持ち駒の認識」の3フェーズからなる。将棋盤の枠認識にはLine Segment Detector（LSD: 線分検出器）を、盤上の駒認識にはConvolutional Neural Network（CNN: 畳み込みニューラルネットワーク）と呼ばれる深層ニューラルネットワークを、持ち駒認識には物体認識手法であるYOLO（You Only Look Once）を用いている。
認識用モデルの学習には、同大将棋部や研究者らの所有する駒・盤、インターネットで公開されている画像などを用いた。アプリのユーザの撮影環境は一定ではないため、明暗や大きさを変えた画像も用意した。一文字駒や二文字駒、裏が赤い駒や黒い駒、特殊なフォントなど、さまざまな種類の駒も含めたという。
本アプリを将棋カフェなどでテストしたところ、枠認識については91％、盤上の認識については99.7％、持ち駒の認識については適合率が73.4％、再現率が97.9％の認識率を達成した。うまく認識できなかった場合には、撮影者がすぐに気づくような表示がされ、再撮影を依頼するシステムとなっている。
既に公開に至っている本アプリ。将棋盤の画像認識によって局面をデータ化するツールは、日本でも世界でも初めてのサービスで、自分の対局を振り返り棋力を向上させるための強力なツールとなるとしている。また、将棋の局面データをいくつも蓄積することで、スーパーコンピュータでも全局面を探索できないといわれる将棋のさらなる解析にも有用だ。
