注目のライブラリーミュージックビジネスに音楽AI『Deep12』の導入が必然だった理由を説く【後編】

• 

  赤間健人

  Akama Taketo

  ソニーコンピュータサイエンス研究所
  Flow Machines Studio Tokyo　プロジェクトリサーチャー

• 

  ナターリア・ポリュリャーフ

  Natalia Polouliakh

  ソニーコンピュータサイエンス研究所
  アソシエイト リサーチャー　理学博士・医学博士

• 

  岸 治彦

  Kishi Haruhiko

  ソニーコンピュータサイエンス研究所
  Flow Machines Studio Tokyo　プロジェクトエンジニア

• 

  山村 涼

  Yamamura Ryo

  ソニー・ミュージックパブリッシング
  プロダクションミュージック部　係長

エンタテインメント業界にもAIは必要なテクノロジー

──（前編からつづく）先ほど「生体パラメータなどから、その人の気分に合わせた音楽をAIで生成できるかもしれない」というお話がありましたが、昨今注目を集めているキーワードから画像を生成するように、「楽しい」「悲しい」「疾走感」といったような言葉を投げかけたり、組み合わせることで、音楽が生み出されるということは実現可能なのでしょうか。

赤間：実は、それっぽい音楽を生成するということに限っては、技術的にはそんなに難しいことではないんです。課題となるのはやはりクオリティ。クリエイティビティや人間の潜在要望をくみ取って生成できるかですね。人が心地良い、カッコイイと感じ、まさにこれと思える楽曲を1曲丸ごとAIで生成できるかというと、それは現時点では難しいですね。

だから、もう少し身近な使い方からスタートしていけたら良いのではないかと考えています。AIの強みであるコンテキストに合致して、個別化された用途を考えます。 例えば、スマホでメッセージを送る際に絵文字感覚で音楽が自動で付けられたり、勉強がはかどって会話が弾むような音楽が自動生成されたり、プレゼンに音楽が付いていても良いですよね。何だかドラマチックなBGMがどんどんと流れてくるプレゼンだったら、聞いているほうも眠くならずに、集中できるかもしれません（笑）。

音楽はもっともっと生活のさまざまなシーンに溶け込んでいく余地があると思います。さまざまなシーンで音楽制作におけるハードルを下げたり、コンテキストに合った音楽を作るタスクを補助する機能はプロにもニーズがあります。それらをAIによって実現して音楽が持つ可能性をもっともっと広げていきたいですね。そうすれば音楽やエンタテイメント産業全体もさらに盛りあがっていくのではないかと思います。

AIは非常に柔軟なテクノロジーで、今できることだけでなく、こんなこともできるかもしれないということをAIに教えて、進化に導いていくことも可能です。その過程の研究段階からソニーミュージックグループの皆さんとディスカッションさせてもらって、夢を描きつつ、実現できることをしっかりとやっていきたいですね。

ナターリア：天気や季節、月や曜日に合わせたものや、シチュエーション、気分に関するキーワードなどから音楽が生成されると生活のワンシーンにおける音楽の使われ方や価値観も変わってきそうですよね。私も“女子会”というキーワードで音楽を作ってもらいたいです（笑）。

そして、そういうニーズに応えようとするならば、やはりさまざまなアーティストと素晴らしい音楽を作りつづけてきたソニーミュージックグループの皆さんが、具体的なサービスを展開するというのが重要になってくると思います。そこで担保される音楽のクオリティに世の中の人たちは期待されると思うので。

──『Deep12』をはじめ、AIを育て、進化させるには具体的にどのようなプロセスがあるのでしょうか。

赤間：まずは、大きなコンセプトを描くところから始まります。どんな機能を実現したいか、チームで色々なアイデアを考え、どんな入力に対して、どんな出力をAIモデルにさせたいのかを考えます。そしてその入出力をどう評価するかを考え、評価関数を最大化して学習するというように数式に落とし込みます。

そして、AIモデルが出してきたものに対して、10段階評価でこれは「3点」だ、これは「7点」だというように自動でフィードバックできるようにします。それを目標にAIモデルに試行錯誤をさせると、だんだんと学んで成長していきます。

また、評価関数だけでなくAIモデル自体の設計も大切で、人間でいうところの五感と脳の構造や外界のシミュレーターを数式やプログラムでどう表現するかを考えます。評価関数自体もAI技術を使って学習させることもあり、単純な数式の評価関数に比べ、人間の知覚や認知に即したフィードバックをAIモデルにしてあげることができます。子どもの教育や人の成長、知能への洞察がAIの設計にいきることもあります。そんなプロセスを経てうまくいったり、まったく学習できていなかったり、試行錯誤を繰り返しながら徐々にAIのモデルが進化していくという感じですね。

音楽AI『Deep12』の名前の由来

──教えたことに対して結果が見えてくる、できなかったことができるようになるという研究体験をしていると、そのAIに対して愛着のような感情が芽生えてくるんじゃないですか。

岸：やっぱり感情移入はしちゃいますね。『Deep12』が初めて『SONY MUSIC PUBLISHING LIBRARY MUSIC』内で動いたのを目にしたときもちょっと感動しました。『Deep12』という名称は、「ウォークマン®」にも搭載されていた12音解析という技術に由来しています。12音解析は、曲調やリズムなどから曲をチャンネルに自動分類して再生できるという機能で、ユーザーは雰囲気や気分、時間帯などのチャンネルを選んで音楽を楽しむことができます。

ソニーCSLも開発に携わっていたその技術は、目指していた開発目標をクリアしたのでいったんプロジェクトは休止していますが、放置しておくのはもったいない技術だったのでコンセプトを『Deep12』に引き継ぎました。

“12”というのは楽器のハーフトーンで言うと、1オクターヴが12音なので、そこから来ていて、“Deep”は、現在、AIの開発にディープラーニングの手法を取り入れているのでこれらを組み合わせて、『Deep12』という名前になっています。

山村：最初に見せていただいたときは、まだ学習データがそんなに多くなくて、思った通りの反応が見られなかったのですが、SMPが運営しているライブラリーミュージックカタログ「Chassay Production Music」の膨大な音源を情報として『Deep12』に加えて解析、調整してもらったら、求めていた反応が返ってくるようになりました。

岸：これについては、グループシナジーが本当にいきているなと感じています。エンタテインメントだけでも、テクノロジーだけでも成立しない。ソニーグループ内に両者が存在するからこそ実現できる、人の生活をより豊かにするための研究開発。この強みを、今後、もっともっと発揮していきたいですね。

──ちなみに、『Deep12』の開発で苦労したのはどういったところになるのでしょうか。

赤間：やはり類似検索は苦労した点でした。この音楽とこの音楽がどれくらい似ているかというのは、人でもなかなか定義しづらいことです。先ほど、山村さんがメタデータの入力で苦労されているお話がありましたが、それと同様で“似ている”の判断は感覚や主観に頼っているところもありますし、音楽の知識の有無によっても変わってきます。さらに、用途によってはこの類似の方が優先されるといった具合に変化もします。 しかし、その類似の評価尺度をどうにかして定義しないと、『Deep12』の学習、成長のためのフィードバックを行なうことや、成長具合をグラフなどで見守ることができません。

なので、人間の感覚、認知や聴覚に加え音楽信号の性質の観点から、多くの人にとっての音楽の類似度とは何かを科学することを試みました。その上で、今、お話にあった通り、「Chassay Production Music」の膨大な数の音源データを取り込むことなどで、AIモデルにたくさん経験させ、性能をブラッシュアップさせることができました。

AIの技術はエンタテインメント業界でも必要性が高まる

──お話を伺って、改めて現在、AIがさまざまな分野で活用されていて、音楽と生物情報学など異なるフィールドを融合させるキーテクノロジーになっていることが理解できました。

ナターリア：人間は脳を拡張して、そこから得た能力をいかすことを楽しいと感じる動物です。実は、人間の脳はクラシックコンサートの演奏を聴くときと、数学の問題を解くときで同じ活動をしているという研究結果が出ています。

つまり、音楽を聴くことで新規ニューロン（脳を構成する神経細胞）の生成やニューロン間の新規コネクションが得られるのです。音楽によって新しい能力を獲得することができるのか、また、目的に合った音楽は存在しているのか。私はそこに大きな興味があります。もしこれらが実現できれば、これ以上のアンチエイジングはないでしょうね。

──今後、音楽をはじめとしたエンタテインメントビジネスのなかでAIがもっと広く深く関わっていくことは間違いなさそうですが、皆さんがイメージされる音楽とAIの良い距離感、最適な関係性について意見を聞かせてください。

山村：少し前まではオーケストラの作曲というと譜面が書けて、その譜面を目にしただけで頭の中で演奏が鳴り響くような知識と才能を持っていないと活躍できませんでした。しかし、今ではDAWの進化や普及によって作曲をするということのハードルはかなり下がってきていると思います。

それと同じように、AIが人間の創作を手助けして促進させていくのは、今後も音楽に限らず広がっていくことでしょう。自分も「Flow Machines」を使って音楽を作ってみたことがありますが、そうした最新のツールを活用して生まれる音楽がどんどん出てくるのが楽しみでもあったりします。

また、『SONY MUSIC PUBLISHING LIBRARY MUSIC』では『Deep12』を検索エンジンとして使わせてもらっていますが、自分が求める音楽の発見を超えて、未知の音楽との出会いを創出する機能として、いち音楽ファンの目線でも楽しませてもらっていますし、今後のさらなる進化にも期待しています。

岸：私はソニーCSLに所属する前から、音楽配信サイト「mora」と「ウォークマン®」の連携システムの開発や、音楽サブスクリプションサービスのシステム開発など、長年、音楽関連の技術開発に携わってきました。そのなかで思いつづけてきたのは、「音楽の素晴らしさをもっと多くの人に届けたい。音楽の持つ力を最大化して、人の心を感動であふれさせたい」ということ。そしてAIは、正しく導いていけば、それを実現してくれるテクノロジーだと考えています。

今回、『SONY MUSIC PUBLISHING LIBRARY MUSIC』に『Deep12』を導入してもらって、映像や音楽クリエイターのクリエイティビィティを少しでも刺激できたらうれしいですし、ビジネス面でもここを起点にもっと広げていきたいです。今後もテクノロジーの力で音楽と音楽にまつわるビジネスを、さまざまな形でサポートしていければと考えています。

ナターリア：私は、人がより健康で快適に人生を楽しむために役立てられる技術の研究を行なっているので、脳を含めた人の生体メカニズムを理解し、さらに拡張していく上で、AIが人にとって楽しいパートナーとして進化することを期待しています。AIがもっと人間を学習、理解して、パーソナライズされた提案ができるようになることも楽しみですね。

いっぽうで、ブレインマシンインターフェイスなどのような新しいテクノロジーの開発も進められていますが、実際のところ脳機能はまだまだ解明されていないことが多いのです。科学的なエビデンスや研究のレベルが追い付いていませんが、今までわからなかった脳の働きを生体に結び付けて、外的な刺激に対しての音楽や言語に対してもより一層の研究がされるべきだと考えています。今から10年先を見据えた研究やプロダクトについて、脳に良い刺激を与えることができるさまざまなエンタテインメントコンテンツを生み出すソニーミュージックグループの皆さんと共同で取り組んでいけたらと思います。

赤間：ソニーグループでは、長きにわたって音楽と映像を極める上で、技術の革新と研鑽がつづけられてきました。その音楽と映像を最適かつ最高のものとして人に届ける役割をAIが担えればと考えています。

例えばAIが映像から音楽を生成する、AIが音楽から映像を生成することも今後は可能になってくると、人々の音楽の楽しみ方が広がり、音楽を理解する楽しさを届けられ、音楽による感動が増幅されます。

実世界に加え、メタバースやスマホ、Web会議などバーチャル世界における人の活動や生体信号から、人々の感動や熱量をそのコンテキストと一緒に自動解析できる時代です。そうした情報や我々のAIの技術をもとに人々の感動を科学し、ソニーグループ全体で究極のエンタテインメントの創出を実現したい、そんな壮大な夢を見ています。そのために、限られた情報や構造化されていない情報からでも、深く理解、創造し人を助けるAIを研究していきたいですね。

文・取材：油納将志
撮影：干川 修