注目のライブラリーミュージックビジネスに音楽AI『Deep12』の導入が必然だった理由を説く【前編】

• 

  赤間健人

  Akama Taketo

  ソニーコンピュータサイエンス研究所
  Flow Machines Studio Tokyo
  プロジェクトリサーチャー

• 

  ナターリア・ポリュリャーフ

  Natalia Polouliakh

  ソニーコンピュータサイエンス研究所
  アソシエイト リサーチャー　理学博士・医学博士

• 

  岸 治彦

  Kishi Haruhiko

  ソニーコンピュータサイエンス研究所
  Flow Machines Studio Tokyo
  プロジェクトエンジニア

• 

  山村 涼

  Yamamura Ryo

  ソニー・ミュージックパブリッシング
  プロダクションミュージック部　係長

『SONY MUSIC PUBLISHING LIBRARY MUSIC』とは

ライブラリーミュージックは、テレビやラジオ、映画やSNSなどの動画コンテンツ、スポーツやバラエティーシーン、広告映像などのBGMとして映像を演出するためのプロユース音源。『SONY MUSIC PUBLISHING LIBRARY MUSIC』では、国内外のライブラリーミュージック音源を20万曲以上取り揃えており、これらの音源は『Deep12』によって使用シーンに合わせた楽曲を容易に検索することができる。なお、『SONY MUSIC PUBLISHING LIBRARY MUSIC』には以下のようなライブラリーミュージックがラインナップされている。
 
■Chassay Production Music
国内外で活躍する作家陣による、オーケストラ・ライブ録音を用いたハイクオリティな音源。
 
■KPM
世界中の放送・配信番組、映画、CMなどで幅広く使用され、世界最大級のライブラリーカタログと言われている。
 
■EXTREME
クインシー・ジョーンズ、ハンス・ジマー、ロンドン・ロイヤル・フィルハーモニー、スヌープ・ドッグなど有名アーティストや著名な作家がプロデュースした音源や、ハリウッド映画音楽から直結した音源を持つハイクオリティーなカタログ。
 
■Q-Factory
映画のトレーラーなどに使用され、海外で高い評価を得ている作家ロバート・エトールが主宰するレーベル。海外でも、ライブラリーミュージック音源として広く活用されている。

ライブラリーミュージックの国内市場が拡大している理由

──まずは皆さんが『SONY MUSIC PUBLISHING LIBRARY MUSIC』で担っている役割について教えてください。

山村：SMPでプロユース用のライブラリーミュージックカタログ「Chassay Production Music」の制作、運営に加えて、SMPで扱っているそのほかのライブラリーミュージックも含めた『SONY MUSIC PUBLISHING LIBRARY MUSIC』で、ディレクターの立場で現場の統括を行なっています。

赤間：ソニーCSLで音楽や脳波に対するAIの研究開発を行なっています。『SONY MUSIC PUBLISHING LIBRARY MUSIC』に対しては、音源解析AI『Deep12』の研究開発チームのリーダーとして、AIモデル部分を開発しました。ほかにも、音楽や脳波の検索や解析、生成を行なうAIの研究を手掛けています。

岸：同じくソニーCSLでAIを使った音楽のシステムやアプリケーションの開発に携わっていて、「Flow Machines」というAI作曲のアプリケーションや、今回の『Deep12』の開発マネジメントを担当しています。

ナターリア：私はもともと生物学が専門で、ソニーCSLに入社後は情報生物学に関わる技術開発や、IPSから免疫までの細胞解析などを手掛け、数年前からはアンチエイジング（抗老化）に関する研究開発を集中的に行なっています。

アンチエイジングは我々人間の臓器に入っている細胞だけで実現することはできず、脳が持つ力が必要となってくるのですが、その脳の力を拡張するツールのひとつが非常に複雑な認知作業を必要とする音楽だと私は考えていて。赤間さん、岸さんと一緒に音楽AIを研究することになり、『Deep12』の開発プロジェクトに参加しました。

――音楽ライブラリーサイト『SONY MUSIC PUBLISHING LIBRARY MUSIC』はどういった経緯で立ちあげられたのでしょうか。

山村：音楽出版社であるSMPでは、著作権の管理や楽曲のライセンス、音楽作家の育成、マネジメントなど、音楽にまつわるさまざまな著作権、著作隣接権ビジネスを展開していますが、そのなかにはアーティストの音源制作だけでなく、ドラマ、アニメ、ゲームなどの劇伴制作もあります。

そこで生み出されてきた楽曲の数は膨大で、制作できる音楽作家の陣容やノウハウをSMPは長年蓄積してきました。これをビジネスにいかさない手はないと思い、改めてライブラリーミュージックビジネスのリサーチを行なったところ、ワールドワイドで大きな市場が形成されていることに加え、国内でも映像サブスクリプションサービスの普及と、SNS上での映像コンテンツの増加がトリガーになって、需要が高まっていることがわかりました。

そこで世界に向けたプロユース用のライブラリーミュージックサービスの可能性を検討、検証した上で、アメリカ映像音楽業界の第一線で活躍する音楽家で、日本ではソニー・インタラクティブエンタテインメントが2016年に発売したゲームタイトル『人喰い大鷲トリコ』の音楽制作を手掛けたことで知られる古川毅氏を音楽プロデューサーに迎え、「Chassay Production Music」が設立されました。

――国内でも需要が高まっているということですが、そもそもライブラリーミュージックはどのように活用されているのでしょうか。

山村：例えば、自分で作った映像コンテンツに音楽を付けたいといった場合、いくつかの方法があります。一番手っ取り早いのは“音楽を作る”ですが、そのためには誰に、どのような条件で発注するのかなど、ある程度の楽曲制作の知見と技術が必要になりますし、制作内容に伴った費用もかかります。

次に考えられるのが“既存の楽曲を使う”ですが、これにはレコード会社やJASRACなどへの申請、使用料の支払いが必要な場合もあり、さらに使用内容によっては使用許諾自体が下りないこともあります。

しかし、ライブラリーミュージックはプロの音楽家が制作した音源から自分の好きな楽曲を自由に選び、申請内容に対して既定の料金を支払えば使用許諾が簡単に下ります。しかも、原盤、出版権をワンストップで許諾できますので、ユーザーはシンプルにその楽曲を使うことができるんですね。

『SONY MUSIC PUBLISHING LIBRARY MUSIC』は、20万曲以上の音源カタログを取り揃えている。

ご存じの方も多いと思いますが、日本国内においては、テレビやラジオの番組で既発の楽曲をBGMなどとして使用する際、放送局がJASRACなどの著作権管理団体と包括契約を結び、一定の使用料をまとめて支払っているので、その団体が管理している楽曲については高い自由度の下で使用できます。しかし、海外では事情が異なります。

海外では、国により著名な曲を放送に使用したいとなった場合、申請手続きと個別に使用料交渉が発生します。そうした事情もあってライブラリーミュージック（編集部注：海外ではプロダクションミュージックと呼ばれる）の活用は海外の方が活発だったんですね。

ただ、国内でも地上波で放送された番組を映像のサブスクリプションサービスなどで全世界にネット配信する場合、許諾手続きが必要になります。

そういった背景もあって、ライブラリーミュージックに注目が集まり、実際に使用されるケースが増えてきたというのが現状です。そこでライブラリーミュージックの使用が多い海外、これから増えてくるであろう国内の両方を見据えた結果、「Chassay Production Music」では当初からワールドワイドで通用する音源を制作しています。

遺伝子解析ツールが音楽AIに活用されている

――新たな音楽ビジネスの種が芽生えているなかで、今回のソニーCSLとの協業による音楽AI『Deep12』の導入は他サービスとの差別化であり、ライブラリーミュージックにおける新たな提案ということになると考えますが、そのきっかけは何だったのでしょうか。

山村：岸さんとは、このプロジェクトが始まる前から、お互いのフィールドに関して情報交換をする間柄で、『Deep12』というAIの基礎研究が進んでいるというお話をいただいたんです。あれはコロナ禍に突入する前でしたよね。

岸：そうでしたね。ソニーCSLでは、さまざまな研究開発が行なわれていますが、我々のチームが取り組んでいるのは音楽や映像に関係するものが多く、ソニーミュージックグループの皆さんが手掛けているエンタテインメントビジネスで、どんどん活用してもらいたいと考えています。

なので、山村さんとも密に情報のやり取りをさせてもらっていて、山村さんがライブラリーミュージックカタログの「Chassay Production Music」を立ちあげられたころに、「こんな技術もあるんです」とご説明したんです。ただ、当時は『Deep12』が何に活用できるのか、お互いに見えておらず、技術の内容だけをご紹介したという状況でした。

──ソニーCSLでは音楽に関係するAIを、いつごろから研究していたのでしょうか。

赤間：ソニーCSLは、国内では東京と京都、海外ではフランスのパリとイタリアのローマに研究拠点があって、20年ぐらい前からパリで音楽におけるAIの研究開発がスタートしました。その後、東京でも音楽AIの研究開発を始めることになったのが5年ぐらい前でしょうか。パリで開発したものを一部ベースにしながら、別の技術に転用したり、東京で進めていた研究を加えてまったく新しい技術の開発を進めてきました。

ナターリア：私が開発していた幾何学の手法を取り入れた遺伝子解析ツールがあるのですが、ある日ソニーCSLのメンバーから「このツールは大規模なデータを扱えるので、音楽の解析などにも役立てられるのではないか」と言われたのです。そこから赤間さん、岸さんと一緒に音楽AIの研究開発を本格的に手掛けることになりました。生物情報学の遺伝子解析が音楽に応用できるとは思ってもみませんでしたし、その拡張として新しい技術が誕生したのはうれしいことでしたね。

──生物情報学、さらにその延長線上にある医療分野のAI技術が、エンタテインメントの分野にも汎用されるようになってきたということでしょうか。

ナターリア：どちらかというとエンタテインメントを楽しみながら健康を管理していく、ライフスタイルをより素晴らしいものにしていくことを目指して、お互いが歩み寄っているように思われます。さまざまな生体パラメータと聴いている音楽や見ている映像を同時にAIが解析して、日々の生活のプランニングをサポートしたり、健康的な状態を維持できるような技術を開発するのが私の夢でもあります。

赤間：ここ最近、AI技術のディープラーニング（深層学習）が非常に発達してきて、さまざまな分野をつなげていく傾向が加速しています。テキストなどの指示から画像を生成するだけでなく、テキストや画像などから音楽を生成するようなこともできるようになってきました。

こうしたことが可能になってくると、今後、脳波などの生体信号を分析して、そのときの気分や身体の状態に合った音楽を生成するなんてことも高精度に実現できるようになるかもしれません。また、人が想像したテキスト、画像、音楽を脳信号からおぼろげながらも直接取り出してくるAI技術も発展しており、我々も取り組んでいます。

──AIの進化はもう1段加速して、違うステージに達するという手応えもありますか。

ナターリア：『Deep12』で赤間さんが開発した音楽AIのアルゴリズムが、DNA塩基配列に変化が起きて突然変異で生物が変化したり、成長したりするのと非常に似ていると私は感じています。というのも、『Deep12』はAIのシステムとしてクリエイティブの部分に余裕を与えていて、新しい音楽を生み出すことができる検索システムになっています。

今回、『SONY MUSIC PUBLISHING LIBRARY MUSIC』で使用されているのは、『Deep12』の音源検索機能のみですが、もっと開発が進めばユーザーがイメージしている音楽をAIで生成するなどということもできるようになるかもしれません。それが実現されれば、音楽の制作スタイルは大きく変わるでしょうし、新しいエンタテインメントのジャンルが生まれる可能性もあります。ただ単に情報を検索して、まとめて提示するだけでなく、人のクリエイティビィティを刺激するようなサポートツールとして『Deep12』というAIをさらにブラッシュアップしていければと考えています。

『Deep12』が楽曲のさまざまな情報を解析して最適解を提示する

──音楽AI『Deep12』は、具体的にどんな機能を持っているのでしょうか。

岸：『SONY MUSIC PUBLISHING LIBRARY MUSIC』に導入した機能は主にふたつあって、音楽解析機能と類似音源検索機能になります。音楽解析機能は、その楽曲のイントロやサビなどの音楽的な構造、ビート位置、BPM、調号、コード進行などの音楽情報をAIが解析して提示してくれる機能になっています。

類似音源検索機能は、ユーザーが手元の音源をアップロードすると、その音源に似た楽曲が『SONY MUSIC PUBLISHING LIBRARY MUSIC』のカタログからフレーズ単位で検索できる機能です。『SONY MUSIC PUBLISHING LIBRARY MUSIC』にラインナップされている音源は20万曲以上と非常に数が多いので、その波形を分析して曲の構造やコード進行が見えてくると、サビの部分から検索することができるなど便利になります。

──この映像の、このシーンに、こういう音楽を合わせたいから、例えば「この曲に似た雰囲気を持つ曲が『SONY MUSIC PUBLISHING LIBRARY MUSIC』のカタログにないかな？」と簡単に検索できるわけですね。

山村：はい。実は、岸さんから『Deep12』の話を伺う前から、ライブラリーミュージックの運用で大きな壁にぶつかっていまして……。それが膨大な数の楽曲のさらに膨大なメタデータを手作業で入力しなければならないということでした。

楽曲のメタデータは、楽曲検索のときなどに使われる曲情報で、タイトル、アーティスト名、作詞者名、作曲者名、演奏時間、権利者名など、非常に多くの項目を1曲ごとに入力しなければならず、さらに、この曲の曲調は楽しいのか、悲しいのか、音楽のジャンルは何か、コードは何を使っているのかなど、音楽の知識も必要とされる情報も求められます。

ネットがこれだけ普及していて、情報はどんどんクラウドにアップされていく時代に、「こんな途方もない作業、いつまで経っても終わらない……」と半ば絶望していました。しかもこの作業は、ただ人数を増やせば良いという類のものではなく、音源を聴いてその曲のジャンルやコードがわからないといけないわけですが、すべての音楽ジャンルに精通している人なんて、そうそういないわけです。さらには、入力に際してヒューマンエラーも起こりますし、入力を担当した人の主観にも左右されます。

そんなときに、岸さんから『Deep12』なら音の波形から情報を取得することができると紹介してもらったのを思い出し、『SONY MUSIC PUBLISHING LIBRARY MUSIC』への導入へとつながっていったんです。

──利用するユーザー側としては、理想とした曲に出会えるスピードや機会が増えるということですね。

山村：今まではタグを辿っていって、探り当てるという状況でした。例えば、明るくてポジティブな曲調の音源が欲しいとします。それで「明るい、ポジティブ」と検索するわけですが、検索結果で表示された音源を聴いてみると、「確かに明るいんだけど……ここまで明るくなくて良いんだよな」というように、細かいニュアンスについては検索ができず、結果、候補として挙がった曲を1曲ずつ聴いて確認するしかありませんでした。

これは、音楽サブスクリプションなどで自分が聴きたい曲や今の気分に合わせた曲を選ぶのとは違う、ライブラリーミュージック特有の悩みと言えますが、類似音源検索を使えば、そのイメージする度合いに近い音源を提示してくれます。これは使う方にとっては、かゆいところに手が届く機能だと思います。

──確かに、自分が今聴きたい音楽を探すときは、アーティスト名だったり、ジャズとかロックとか、ジャンルで検索できますが、この映像に合わせたいのは「スローで、静かな曲調なんだけど、幸福感を感じる音」なんて細かいニュアンスまではメタデータにも入ってないですしね。

赤間：ライブラリーミュージックは映画やTV番組、CM、ゲームなどの映像に用いられることが多いですが、映像と音楽が絶妙にマッチしている成功例が過去にたくさん作られてきました。そういった成功例をそのまま用いるのはマンネリ化を招いたり、そもそも著作権があってその音源が使えなかったりします。そんなとき『Deep12』でその音源を類似検索して別の候補を探せば、制作内容にバリエーションを生むことができたり、より良い音源を見付けられたりしますよね。

さらに、映像に用いられるのはほとんどの場合、その楽曲の一部です。『Deep12』は、膨大な楽曲から1曲を見付けるだけでなく、「この楽曲の特にこの一節が類似していますよ」という提案もしてくれるので、理想の一節と出会うことができるようになります。AIアシストにより音楽がますます作られるようになると、検索技術がもっと有用になってきます。

──ちなみに、先ほど山村さんが挙げていたメタデータの入力の課題はどうなったのでしょうか？

山村：地道にやりつづけていますよ。でも、『SONY MUSIC PUBLISHING LIBRARY MUSIC』のカタログ曲は今後も増えていくので、早くこの作業から解放されたいです（笑）。将来的にはメタデータも『Deep12』によって自動的に入力されるようになったら良いですね。

──ライブラリーミュージックの音源は探し出すのが大変なほど豊富ということはよくわかりましたが、「Flow Machines」のように作曲をAIがサポートするツールが登場したことによって、今後さらに充実していくことになりそうでしょうか。

岸：先日、ソニー・ミュージックエンタテイメントが運営する音楽制作プラットフォーム「Soundmain※」に「Flow Machines」のAI作曲アシスト機能が加わりました。「Soundmain」はWebブラウザ上で使えるDAW（デジタル・オーディオ・ワークステーション）ツールで、作曲初心者の方でもわかりやすい仕様になっています。そうした機能の充実や拡張によって音楽を作る人口が増えていき、ライブラリーミュージックを手掛ける作家の方も増えるかもしれない。そういう意味では今後も充実していくのではないでしょうか。

※Soundmain：ブロックチェーン、AIなどの先進テクノロジーと音楽制作や情報権利処理のアルゴリズムを活用して開発された音楽制作プラットフォーム。クリエイターインタビュー、音楽テクノロジーや権利処理に関する最新情報を発信するSoundmain Blog、楽器単音やループ音源など、ハイクオリティな音源素材を販売するSoundmain Store、音源分離やボーカル抽出、歌声合成といったAIアシスト機能を搭載した、Webブラウザを使ってどこでも音楽制作ができるSoundmain Studioなど、音楽クリエイターを支援するさまざまなサービスが提供されている。

後編につづく

文・取材：油納将志
撮影：干川 修