牛尾憲輔が手掛ける『チェンソーマン』サウンドトラックのために開発されたAIが示す可能性【前編】

• 

  牛尾憲輔

  Ushio Kensuke

  音楽家、プロデューサー。2008年にソロユニット“agraph”としてデビューアルバム『a day, phases』をリリース。2012年以降は電気グルーヴのライブサポートメンバーとしても活動する。2014年、TVアニメ『ピンポン』で初めて劇伴を担当。以降、映画『聲の形』『サニー/32』『リズと青い鳥』『モリのいる場所』『麻雀放浪記2020』、Netflixにて全世界配信されたアニメ『DEVILMAN crybaby』『日本沈没2020』、TVアニメ『平家物語』など数多くの劇伴を手掛けている。

• 

  ハビエル・ニスタール・ハーレ

  Javier Nistal Hurlée

  ソニーコンピュータサイエンス研究所-パリ
• 

  松阪郁子

  Matsusaka Ikuko

  ソニーコンピュータサイエンス研究所
• 

  鷹羽晴子

  Takanoha Haruko

  ソニー・ミュージックパブリッシング

最新テクノロジーの開発サイドとクリエイターの連携

──本日は、TVアニメ『チェンソーマン』の劇伴用に開発されたAIツール「ChainsawGAN」についてお話を伺います。ひとつのアニメ作品の劇伴のためにAIツールを開発するという、おそらく過去に例を見ないプロジェクト。そもそもどこから始まったのですか？

牛尾：今回のサウンドトラックを手掛ける前から、ソニーCSLの皆さんとは繋がりがあったんです。最初は確か「Flow Machines™」のときでしたよね？

鷹羽：はい、2020年でしたね。「Flow Machines™」は、ソニーCSLが開発した音楽制作ツールのひとつで、AIの技術を用いて作曲の支援をしてくれるアプリケーションです。私は、ソニーミュージックグループで音楽の出版ビジネスを手掛けるソニー・ミュージックパブリッシング（以下、SMP）のデジタル戦略課というセクションに所属していて。ここでソニーグループの先端テクノロジーとクリエイターを繋ぐ仕事をしています。

ただ、技術の設計思想まで理解した上でAIを使いこなせるクリエイターというのは、そんなに多くはいらっしゃらないんですよね。ですから作曲家でありながら、テクニカルエンジニアとしても電気グルーヴなどさまざまアーティストの音楽制作やライブをサポートしてきた牛尾さんの存在を知ったときは、真っ先にアプローチさせていただきました。

牛尾：僕の方こそ、すごく良い刺激をいただきました。ずっとひとりで作曲をしていると、どうしても手癖というものが出てきます。特に劇伴の場合、短期間で多くの楽曲を作ることになるので、自分の好きな旋律や得意なパターンを、無意識に踏襲してしまうリスクがあるんですね。「Flow Machines™」はそこから外れた提案をしてくれるので、選択肢を可視化させる意味で、非常に有効なツールだなと感じました。

鷹羽：牛尾さんには実際に「Flow Machines™」を使って「parkside in bloom」という曲も作っていただいて。以降は、最新のテクノロジーについて互いに情報交換をしたり、アドバイザー的にお知恵を借りたりしていました。今回の「ChainsawGAN」プロジェクトも、基本的にはその流れで実現したものです。

――テクノロジーの開発サイドと、実際のユーザーであるクリエイターの関係として理想的ですね。

牛尾：ソニーCSLのスタッフの皆さんは本当に熱心で、最新の研究成果について私にも定期的にプレゼンをしてくださるんです。大学の授業みたいにコマ割りまで決まっていて、それぞれの担当の方が「この技術を使ってこんな面白いことができます」と順番に教えてくださいます。そこで見せていただいたAIツールが、今回の出発点になりました。

松阪：あの日のプレゼンは私も鮮明に覚えています。私はソニーCSL内で研究営業というポジションにいまして、主に音楽分野で研究者が開発したAI技術を制作現場に紹介し、実用化に繋げていく仕事をしています。そのとき牛尾さんにご紹介したのは「DrumGAN」というAIツールでした。これまで誰も聞いたことがないドラムの音を、自動でどんどん生成できるんです。牛尾さんは興味を持ってくださり、こちらの開発意図をすぐに汲んでくださいました。

牛尾：根がオタクですから（笑）。もちろん技術的なディテールまではわかりませんが、「こういう仕組みかな」という概念図みたいなものは、自分なりに飲み込めたのだと思います。その「DrumGAN」の説明が記憶に残っていて。

松阪：後日、びっくりするオファーをいただいたんですよね。「ドラムじゃなくて、チェンソーの音で同じことができませんか？」と。

“メチャクチャ”さを劇伴のコアに据えたい

──それが「ChainsawGAN」の開発に発展したわけですね。AIの活用法については改めて伺うので、先に『チェンソーマン』のサウンドトラック制作について教えてください。オファーを受けた際、最初に考えたことは何でしたか？

edge of chainsaw（Chainsaw Man Original Soundtrack) Music by kensuke ushio　Guitar:Hisako Tabuchi

牛尾：これはどの作品でも同じなのですが、劇伴を作るとき、僕はまず表現のコアにあるものを自分なりに考えます。というのも、映像作品におけるBGMの効果って想像以上に大きいんですよね。使い方によっては見る人を一定方向に誘導したり、明らかに不自然なストーリーでも強引に成立させることができてしまう。そういう劇薬っぽい使い方を避けたいという思いが、僕のなかに大前提としてあります。それには自分のなかに、ブレない軸を作っておくことがすごく大切で。

──それは迷ったときに、すぐ立ち返れるように？

牛尾：そうですね。劇伴なので個々のシーンに合わせることも必要ですが、それだけだとやはり説明的になってしまうことがあります。それで『チェンソーマン』の原作コミックを読み込んだら、良い意味で“メチャクチャ”だと感じました。主人公は「チェンソーの悪魔」と契約したダークヒーローで、残虐シーンも非常に多い。登場人物も毎回バタバタ死んでいきます。それでいてストーリーは破綻せず、読者を惹きつける強烈な魅力を持っている。この“メチャクチャ”さ加減を、劇伴のコアに据えたいとまず考えました。そこから発想を広げていけないだろうかと。

──どうやって“メチャクチャ”さを取り込んでいったのでしょう？

牛尾：大きく3つの方法があったと思います。ひとつ目は、僕自身の手作業。いったん完成した曲を、波形編集でずたずたにカットアップするやり方ですね。ふたつ目は、独自のプラグイン開発。Max／MSPという開発環境のもと、プログラマーに協力してもらいまして、入力された音をグチャグチャにシャッフルするアプリケーションを作りました。そして最後が、AIを用いた音の自動生成です。

鷹羽：そこで「DrumGAN」を思いつかれたのが、牛尾さんのすごいところですよね。一度プレゼンをお聞きになっただけなのに。これの「チェンソー版」を作ればきっと面白くなるって、直感的に理解されていました。

牛尾：それだけ印象が強かったんでしょうね。なぜそんなお願いをしたかというと、自分では予測不能な要素を入れたかったんです。先ほど話に出たカットアップやプラグインの手法は、僕のなかではプロセスが見えています。アウトプットの音がいかに“メチャクチャ”に聞こえても、アルゴリズム自体は自明なんですね。言い換えれば、そのふたつだけでは今回のコアコンセプトは実現できない。

――なるほど。そこでAIの登場となるわけですね。

牛尾：“メチャクチャ”さを具現化するには、僕自身のコントロールを離れて、本当に予測不能な素材を生成してくれるツールが必要でした。それを曲のなかにどう配置し、劇伴として成立させるかが今回の肝になるのではないかと考えたんです。

松阪：当然ですが、AIと音楽家の方の関係性は千差万別で。強烈な忌避感をお持ちのクリエイターの方もいれば、こちらの開発イメージに沿った使い方をされるクリエイターの方もいらっしゃいます。牛尾さんは「Flow Machines™」のときもそうでしたが、こちらが「え、そんな発想ってあり？」と驚くような使い方やご提案が多くて。

牛尾：面倒くさくてすみません（笑）。

松阪：いえいえ（笑）、むしろプレゼンする側としてはうれしい驚きです。お話を聞いてすぐ「DrumGAN」を開発したハビエル・ニスタール・ハーレ研究員とのリモート打ち合わせをアレンジしました。

「ChainsawGAN」のもとになった「DrumGAN」

──ハビエルさんは、ソニーCSLのパリの研究室にお勤めなんですね。

ハビエル：はい。研究職としてAIの最新テクノロジーをリサーチし、それらを用いて実際に音楽制作ツールを開発する仕事をしています。もともとAIに欠かせないディープラーニング（深層学習）や機械学習が専門分野で、2022年に博士号を取得しました。

──牛尾さんから「DrumGAN」をベースに「ChainsawGAN」を作ってほしいと話があったとき、最初はどう思われました？

ハビエル：うーん……何てヘンなことを言う人なんだろうと。

牛尾：はははは。まあ、それはそうですよね。

ハビエル：それは冗談なんですけど（笑）。最初は『チェンソーマン』の原作コミックの内容も知らなかったので。正直、突拍子もないオーダーだなとは思いました。

鷹羽：でもこのおふたりは、一瞬で通じ合ってましたよね。それまでまったく面識がなかったのに、ごく短いコミュニケーションだけで話が噛み合ってしまって、傍から見ていて感動したのを覚えています。

松阪：お互いの理解がすごく早かった。私もそれはすごく印象に残っています。

──そもそも「DrumGAN」とは、どんなツールなんですか？

ハビエル：冒頭でも少し話に出ましたが、ドラム音を自動で生成するプログラムです。AIを使うことで、存在しなかったドラムのサウンドを直感的に得ることができるツールで、これによりクリエイターの自由度をより高め、創作活動をサポートするのが目的です。「GAN」というのは、Generative Adversarial Networkの略語で……。

牛尾：日本語だと“敵対的生成ネットワーク”ですね。

ハビエル：AIは大まかに識別系と生成系に分けられますが、「GAN」は後者の有力なアルゴリズムのひとつです。ひとつのシステム内でふたつのニューロンネットワークを仮想的にぶつけ合う仕組みで、AI同士のディベートとかMCバトル的なものを思い浮かべてもらうと良いかもしれません。

牛尾：敵対的というのはあくまで比喩で、実際は内部で協力しながらどんどん育っていくイメージですよね。ボクシングのスパーリングみたいなもので。

ハビエル：それが良い喩えですね。要するに「GAN」は、あくまでAIにデータを学習させるパラダイム（世界を捉える枠組み）です。ゲーム理論にも似た、AIに進化を促すコンセプトと言っても良い。それはプロセスであって、目的は学習したデータをもとに音を自動生成するところにあります。

──実際には、どんな流れでドラムの音が出てくるのですか？

ハビエル：非常に単純化して説明しますと、まずネットワークAが膨大なドラムの波形データをもとに、現実には存在しないフェイクの音を提示します。ネットワークBの役目はその真偽を判定することです。AはBを騙すために次々とフェイクの音を作り出し、Bは延々とそれに対抗しつづける。

専門用語でAをジェネレーター（生成器）、Bをディスクリミネイター（識別器）と言いますが、両者の膨大なやり取り自体をAIに学ばせることで、元データには存在しなかった音を自在に生成できるようになっていくんです。

牛尾：それにはまず、実際のドラムの音をなるべく多く読み込む必要があります。

──「DrumGAN」には、どのくらいサンプル音源を学習させたんですか？

ハビエル：30万くらいです。

──30万というのはすごいですね！　そして、ドラムの音だけでそんなにサンプルが存在するとは思いませんでした。

ハビエル：でも30万という数は、AI開発の世界ではそこまで大きなオーダーでもないんですよ。話題のChatGPTがベースにしている学習データは、もっとずっと巨大で膨大なので。

牛尾：でも、生身のクリエイターにとっては十分すぎるくらい大きいです。おそらく一生かかっても届かないスケールですよね。

「チェンソーマン」劇伴を手掛ける牛尾憲輔が語るAI「ChainsawGAN」

後編につづく

文・取材：大谷隆之
撮影：干川 修