京都大学の中村栄太特定助教らの研究グループは、ピアノ演奏音声データから楽譜を自動で生成する技術を開発して、実用に近いレベルの楽譜生成に世界で初めて成功した。
音楽の演奏を聴いて楽譜に書き起こす「採譜」は耳コピとも呼ばれ、特殊な訓練をした人だけがもつ能力。この能力をコンピューターで再現し、誰でも使える「自動採譜技術」が研究されている。特にピアノ演奏の採譜では、音高（ピッチ）とリズムの複雑な組み合わせの認識が非常に難しい。
ピアノ採譜には、音声信号の中で各時刻にどの音高が鳴っているかを推定する「多重音高検出」と、各音符の発音時刻と音の長さを拍（ビート）時間単位で認識する「リズム量子化」という問題がある。それぞれに機械学習を用いた手法の研究が進んでいるが、研究グループは今回、両手法を統合した自動ピアノ採譜システムを構築した。
多重音高検出では、入力の音声データに対して、各時刻に含まれる音の高さと強さ、そして打鍵の有無を推定する深層ニューラルネットワークを用いた。リズム量子化では、人間の演奏に含まれる時間的変動のモデルと、楽譜に現れる一般的なリズムパターンの統計的特徴を表すモデルに基づく手法を用いた。また、拍子や小節線の位置などの認識には、音符同士の関係性を捉える統計量を用いて採譜精度を改善した。この結果、部分的に演奏や人による採譜の補助にも使用できる楽譜の自動生成に成功した。
今後は、実用化に向けた研究開発、音楽学研究や音楽教育への応用、そして文化を支える知能の科学的理解につながると期待される。また、著作権法や音楽家への影響の問題についての議論を早急に進める必要があるとしている。
論文情報：【Information Sciences】Non-Local Musical Statistics as Guides for Audio-to-Score Piano Transcription
