北陸先端科学技術大学院大学（JAIST）と早稲田大学の研究チームは、初心者でもラフなスケッチからプロレベルのアニメ画を作成できる生成AI技術を開発した。
アニメ画などの芸術作品はその抽象的な性質のため、単純に生成AIを用いてもユーザの意図に沿った高品質なアニメ肖像画を生成することは困難だ。特に、一般ユーザによるラフなスケッチは、制作途中で全体的なバランスや各パーツの詳細情報を欠くため、生成系AIの手法を取り入れることは一層挑戦的な課題になる。
研究チームは、制作過程における線の描き方をシミュレートし、ラフなスケッチから高品質なアニメ画を生成する新たな生成系人工知能（生成AI）技術を開発した。この技術は深層学習フレームワークに基づいて、創作プロセスと生成AIにおける潜在空間（学習させた画像の特徴量が分布する低次元空間）の探索処理をする。
また、提案フレームワークを基に、制作過程でガイダンス（アニメ画の完成予想図）を画面に表示する機能を持つユーザインターフェースを開発。これにより、スケッチの描き順に依存せず、制作プロセス全体で一貫して高品質なアニメ画を生成することが可能となった。
アニメ肖像画の制作インターフェースにより、15名の大学院生に提案の生成AI技術を評価してもらった。その結果、生成結果に対する満足度や、ユーザが描く線画と生成されたガイダンスのマッチング率において高く評価された。
長期的には、今回の研究結果は生成AI技術の普及に貢献し、ユーザの創造的活動を支援することで、身体性に紐づけされたスキルの障壁をなくし、人間の創造的能力を最大限に拡張することが期待されるとしている。
論文情報：【ACM SIGGRAPH 2023】AniFaceDrawing: Anime Portrait Exploration during Your Sketching
