Google、「鼻歌検索」をスタート。鼻歌や口笛だけで曲を検索

Googleは、Google検索の新機能「鼻歌検索(Hum to Search)」を日本で提供開始した。AndroidのGoogleアプリとモバイルのGoogle アシスタントで対応し、iOSでも今後対応予定。

AndroidのGoogleアプリとGoogle検索ウィジェットでマイクアイコンをタップし、メロディーをハミングすると、楽曲名などの検索結果を表示。Google アシスタントに、「OK Google, この曲は何?」と話しかけても検索できる。

楽曲名を知らなくても、曲の一部を口ずさめば曲名やアーティスト名などが分かる機能。Googleの機械学習アルゴリズムが鼻歌の音声を解析し、マッチする曲の候補を提示。完璧な音程でなくても一致する可能性の高い曲が複数表示され、その中から知りたい曲やアーティスト情報を調べられる。

ミュージックビデオの表示やお気に入りの音楽アプリでの再生のほか、曲によっては歌詞や曲の分析、評価、リミックスやカバーもチェックできる。

Appleによる「Shazam」など類似のサービスもあるが、Googleの鼻歌検索は、機械学習を活用し、メロディーのみを学習する仕組みを採用した点が特長。伴奏、音の高低、声質といったメロディー以外の情報をあえて排除したことで、「鼻歌」や「口笛」でも楽曲検索できるようにした。

鼻歌検索では、歌われた曲のメロディーの固有の特徴を抽出し、機械学習モデルで「指紋」(数列)に変換。Googleのデータベースに登録された、鼻歌やハミング、口笛から生成された「指紋」と照合することで検索を実現する。この機械学習モデルは、ライセンスされた楽曲やスタジオ録音のほか、ハミング、口笛など多様な音源から訓練されているという。

ボーカルが無い楽曲でも、メロディーが抽出できれば検索可能。ただし、声があったのほうが正確な検索が出やすいという。

Google AIチームによる楽曲認識(Music recognition)が基盤の技術となっている。2017年に付近で流れている音楽を検出する「この曲なに?(Now Playing)」をPixel 2でリリースし、省電力かつオンデバイス(端末内で完結した)でDNN(ディープニューラルネットワーク)を用いた楽曲検出に対応、'18年にはGoogle アプリの「サウンド検索」に導入し、数百万曲の楽曲まで検索範囲を拡大した。

鼻歌検索はこれらの技術を進化させ、通常の「検索」において、オリジナルの音源や歌詞がなくても、ハミングだけで曲を認識できるようにした。また、現在は10～12秒程度の「鼻歌」が必要だが、今後は短時間での鼻歌検索の実現を目指す。

現在は20以上の言語に対応しているが、さらなる多言語化も進める。鼻歌検索のための「メロディー」自体は言語に依存しないが、照合するデータベース(楽曲情報等)は、国や言語ごとの対応が必要となる。そうした言語ごとのデータベース整備も今後強化していく方針。