音楽とテクノロジーが交差するXRライブプロジェクト『ReVers3:x』が描く未来【前編】

伊東孝俊氏

Ito Takatoshi

株式会社MomentTokyo
代表取締役

林亮輔

Hayashi Ryousuke

ソニーグループ

増田徹

Masuda Tooru

ソニーグループ

齋藤亮太

Saito Ryota

ソニー・ミュージックレーベルズ

菊田省吾

Kikuta Shogo

ソニー・ミュージックレーベルズ

HIPHOPを戦略的にPRしていく場を作りたい

――まずは『ReVers3:x』がどのようなプロジェクトなのか教えてください。

菊田：『ReVers3:x』は独自に制作した仮想空間を舞台に、さまざまなアーティストのショートライブを発信していくことを軸にしたプロジェクトで、ソニーグループの最新技術を活用したグループ横断の取り組みとなります。

その第1弾として、ラッパーのKEIJUのライブパフォーマンスを、ソニーの「Volumetric Capture Studio Tokyo」でボリュメトリックキャプチャ技術とカメラを使って4K撮影し、3月に全世界に配信しました。

[XR Live vol.1] ReVers3:x KEIJU / リバースクロス

――どういう経緯で『ReVers3:x』はスタートしたのでしょうか？

齋藤：僕と菊田は、ソニー・ミュージックレーベルズに所属していて、菊田はエピックレコードジャパン、僕は当時、ソニー・ミュージックアソシエイテッドレコーズという音楽レーベルで、担当アーティストのA&R※やマネジメント業務を行なっていました。

そんななか、エピックレコードジャパンとソニー・ミュージックアソシエイテッドレコーズ、そしてアリオラジャパンを加えた3つのレーベルを横断して、日本でHIPHOPという音楽ジャンルのフィールドを、もっと大きくしていくためにはどうすれば良いかを研究するチームが発足したんです。

昨今、HIPHOP界隈ではCreepy Nutsが注目を集めていたり、昨年はドラマ『大豆田とわ子と三人の元夫』のヒットに相乗して、STUTS & 松たか子 with 3exesの楽曲が話題を集めていましたが、僕自身もKEIJUを担当していてクラブイベントに足を運んだりするなかで、現場の熱量というのを肌で感じていました。いっぽう、趣味が高じてゲームコミュニティのお手伝いをしていたところ、eスポーツのプレイヤーや、ストリーマーにKEIJUをはじめHIPHOPが好きだという人が結構いることに気付いて、HIPHOPとゲームに親和性があることを感じていたので、何か仕掛けられないかと考えたんです。

それで、HIPHOPカルチャーにどっぷり浸かっていて、しかも、宇多田ヒカルやいきものがかりといったアーティストの音楽、プロモーション活動を通じて、テクノロジーの知見も持っている菊田に声を掛けて、このプロジェクトの原形を作り始めました。

※A&R（アーティスト＆レパートリー）
音楽アーティストをさまざまな面でサポートしながら、ヒットへ導く音楽業界の業種。

――当初からボリュメトリックキャプチャ技術を活用することを想定していたのでしょうか？

齋藤：プロジェクトがスタートした当初は、ボリュメトリックが使えるとは思っていませんでしたね。まずはXRライブに至る前段で、コロナ禍により音楽業界では配信ライブというスタイルがある程度定着しましたが、ライブ会場をそのまま中継するようなものが大半でした。そうなると、やはり会場で生で感じることでしか得られない体験と比べると難しいなと思うところがあり、配信ライブは別物として考えないといけないなと感じていました。バンドだと、アレンジを変えたライブということも差別化としてできると思うんですが、トラックで歌うアーティストはさらに難しいなとも。

加えて、視覚的にもアリーナクラスのライブでない限り、引きの映像を作るのが難しかったり、だいたいのライブハウスは内装がそんなに変わらないので画変わりを作るのが難しかったりというところも要因かなと思っていたので、テクノロジーを活用して、見ている人たちを驚かせる見せ方や、やり方を模索したいと考えていました。

そうした状況のなかで、日ごろから情報交換やお仕事もご一緒させていただいているMomentTokyoの伊東さんたちが手掛けたXRライブを目にする機会があって。これなら配信ライブに独自の価値を加えることができそうだと思ったんです。

――テクノロジーとHIPHOPカルチャーを融合させて、新しい配信ライブを生み出すという意図が当初からあったわけですね。

菊田：加えて、HIPHOPの音楽とカルチャーを戦略的にプロモーションする場を作りたいという考えもありました。現在、HIPHOPをメインで扱うメディアはABEMAの『HIPHOPチャンネル』ぐらい。『HYPEBEAST』や『FNMNL』などの親和性の高いメディアもいくつかありますが、J-POPやJ-ROCKに比べてプロモーションのツールは少ないように感じます。

だったらソニーミュージックでそうした場を作ってしまえば、先々のことを見据えても良いだろうと考えたんです。自分も伊東さんとは親しくさせてもらっていたので、そのことも踏まえて伊東さんに相談してみようということになりました。

伊東：我々、MomentTokyoはバーチャルライブやXR（現実世界と仮想世界をVRやARなどで融合する技術の総称）を制作するプロダクションで、過去にHIPHOPのアーティストも3組ほど手掛けています。また、HIPHOPのカルチャーには“新しいことにチャレンジしよう”“おもしろそうなことはどんどんやろう”という精神が根付いているように感じていたので、お話を聞いたときから“何かおもしろいことができそうだな”という感覚がありました。

加えて、今まではMomentTokyoのスタジオだけで完結させていたバーチャルライブをステップアップさせたいタイミングでもあって。360度見渡せるような広い仮想空間で、実写とCGを組み合わせたり、アーティストのパフォーマンスを見せる3Dのバーチャルライブ領域に進みたいと考えていたんです。

その上で、菊田さんがA&Rをされているいきものがかりが、ソニーの「Volumetric Capture Studio Tokyo」で実写とCGをレンダリングしたライブ映像を生配信したことも知っていて、話を聞いたらそのときのコネクションもいかせるかもしれないということだったので、ぜひ、ソニーの方々ともお話をさせてくださいという流れになりました。

林：そこで我々にお声掛けがあって、最新のボリュメトリックキャプチャ技術のデモをお見せしたのが昨年の7月ごろのことでしたね。

“過去のラッパーの言葉が再生される未来”という世界観

──プロジェクトにおける各社と個人の役割はどうなっているのでしょうか？

齋藤：主幹事となるのがソニーミュージックで、僕と菊田が中心になってコンセプトや企画を立案し、アーティストのブッキングや宣伝まわりを担当しています。

伊東：自分はディレクターとして参加していて、MomentTokyoではライブのプロダクションやビジュアル的な世界観の監修、それと制作を行なっています。わかりやすく言うと、KEIJUのライブ映像で目に見える部分はすべて我々が制作を担当させてもらいました。

増田：ソニーとしては主にボリュメトリックキャプチャの技術提供と撮影、収録時には「Volumetric Capture Studio Tokyo」のお貸し出しも行なっています。ソニーグループ内では、数年前からXRを手掛けるプロジェクトが立ち上がっていて、ARやVRに加えて、ボリュメトリックキャプチャの研究開発も進めてきました。その上で、私はソニーのR&Dセンターの出身で、現在も兼務をしているのですが、そこで開発された最新技術を現場にどんどん対応させ、広めていく業務を行なっています。

林：私は、ソニーでボリュメトリックキャプチャ技術の事業化を進めていて、ビジネスプロデューサー的な立場でこのプロジェクトに参加させてもらいました。私が窓口に立って、皆さんの要望を増田さんたちに伝えつつ、そのフィードバックをお返しする。また、宇多田ヒカルのVRコンテンツやいきものがかりのボリュメトリックライブなど、過去の取り組みで得た知見で、プロジェクトにおける技術面のフォローもさせてもらっています。

──その座組のなかで『ReVers3:x』の世界観の構築をはじめ、皆さんの間で当然すり合わせはあったとは思うんですが、それでもクリエイティブ、ビジュアル面の作り込みも含め、かなりの短期間で完成度の高いコンテンツを発信されたことに驚きました。現在のテクノロジーでは、これぐらいのスピード感で、このクオリティのものが作れるのでしょうか。

林：ソニーミュージック、MomentTokyoの皆さんが描いているプロジェクトのビジョンと、我々ソニーがこれから先、進もうとしているXRテクノロジーのビジョンがまさしくクロスしたという感じですね。それが開発をスピーディに進められた最大の要因だと思います。

伊東さん、齋藤さん、菊田さんが「こういうことをやりたい、こんなエンタテインメントを作りたい」と話してくれたことが、我々の見据えていたXRテクノロジーの未来像と合致していて、「だったらこういう技術が既にありますよ、こういうやり方が考えられますね」というご提案ができたのが良かったのだと思います。

齋藤：加えて『ReVers3:x』の仮想空間は、ゲームの制作に用いられる「Unreal Engine」で制作しているんですが、このプロジェクトに取り組むタイミングで、MomentTokyo／REZ／huezの制作チームのほうで、3DCGを作成するためのプロツールである「Blender」を使って、ゼロから3Dデザインを起こせるようなデザイナーの方にもジョインしてもらうなど、かなり制作環境を整えてもらいましたね。

伊東：単純な制作だけの話であれば、今なら『ReVers3:x』と同じような仮想空間は1カ月ぐらいで作ることは可能です。ただ、このプロジェクトで求められているのはそこではなくて。『ReVers3:x』では、シンボリックな街をモチーフにしていますが、この街は既に多くのクリエイターが、さまざまな作品で仮想空間化しています。だからこそ、僕らはほかにはない独自の世界観をゼロから作らないといけないと考えました。

街を彩る電飾や広告、ビジョンに映し出される映像からグラフティに至るまで、複数のクリエイターに参加してもらって、細部を作り込んだからこそにじみ出る街の空気感とか、リアリティを見ている人に届けられたらと。そこに林さん、増田さんたち、ソニーの皆さんの技術的なバックアップがあって実現できたスピード感だと思います。

──HIPHOPカルチャー、音楽というのは近未来よりも、今現在を切り取るスタイルが多いように思います。その上で近未来の東京にステージを作ったのは、どういう意図だったのでしょうか。

齋藤：世界観のすべてをつまびらかにはしていないので、かいつまんでの説明になってしまいますが、『ReVers3:x』は20XX年、未来の仮想空間が舞台になっていて、そこで過去に存在したラッパーたちの言葉と音楽が映像として再生されるという設定になっています。2022年現在だと、現代のラッパーの言葉というのは時代を色濃く反映していて、心に刺さるなと常々感じていて。その言葉の強度というのは、時間が経過しても色褪せないんじゃないかと考えたんです。

未来がどんな世界になっているかは、誰にもわかりませんが、例えば音楽が楽しめないような世界になっていたとしたら、その世界では、現代のラッパーたちの言葉はどのように人々の心に響くだろう、そんなイメージを膨らませていった結果、『ReVers3:x』の世界観にたどり着きました。

いっぽうで、ボリュメトリックキャプチャの技術はまだ実写通りの表現には行き着いていないので、見てもらう映像としては、“これは未来における過去の映像データです”という現実ではない見せ方にした方が、世界観との辻褄も合うというか、安心して見てもらえるだろうと考えたのも設定に結びついた一因ですね。

林：最終的にはメタバース（仮想空間）と表現しましたが、そのメタバースのなかで20XX年の東京というかたちで未来を見せた方が、映像としては実写を超える魅力が出せるんじゃないかと思いました。

その実現に最適だったのがボリュメトリックキャプチャだったわけですが、その映像表現の可能性が、クリエイターの方たちのクリエイティビティを少しでも刺激できていたら、我々のテクノロジーをうまく使ってもらった意味がさらに増すなと感じました。

増田：『ReVers3:x』というXRライブプロジェクトを推進していく上で、MomentTokyoの皆さんとは技術交換というか、知見を共有して溜めていこうという動きもありまして、「Unreal Engine」を活用して作成したワールドのアセットとボリュメトリックキャプチャ技術をより良くしていき、互換性を高めていく取り組みも行なっています。

日々研究されているソニーの最新技術を転用

──最近では『フォートナイト』で、トラヴィス・スコットなどがライブパフォーマンスを行なうなど、ゲームのために作られた仮想空間に新しい可能性が見出されています。それを考えると、『ReVers3:x』をゲームエンジンを活用して作られたというのも理にかなっていると気付かされました。

伊東：実写とCGを合成させるライブパフォーマンスが軸にあって、リアルタイムレンダリングを追求していくと、結果ゲームエンジンが最適だったという考え方ですね。かつ、いわゆるファイナルピクセルと言われる最後の書き出しにおける絵の美しさを「Unreal Engine」は追求していて、そこも選んだポイントになります。あとは、プロダクションや個々のクリエイターたちがゲームエンジンを使った映像技術に関するTipsをYouTubeで公開するようになっていて、そういうところからも刺激を受けました。

──個人的な感想ですが、『ReVers3:x』のサンプル画像を見て、実際の配信ではここまでのグラフィックは出ないだろう、ちょっと誇張し過ぎなのでは？　と思っていました。しかし、実際の映像を見て、ボリュメトリックキャプチャを使いつつ、ここまで綺麗な映像ができるのだと驚いています。ライブや照明の演出、世界観の構築もそうですし、ステージがあって、その裏にあるビルの雰囲気だったりとか、まさしく街が作られていると感じました。近未来の東京なんてもちろん見たことはないんですが、フェイクじゃない感じというか。皆さんは、その完成形に至ったところで、どのような思いを抱かれましたか？

林：先行事例として、2020年8月にボリュメトリックキャプチャ技術による世界初の生配信ライブ『いきものがかり　Volumetric LIVE ～生きる～』も手掛けさせてもらいましたが、当時は、まだ今ほど我々にノウハウが溜まっていなくて、ライブを生配信しつつも、どちらかというとミュージックビデオ的な映像になっていました。

また、このときはボリュメトリックキャプチャの映像を生配信するという試みによりスポットが当たっていたので、『ReVers3:x』とは求められるものが違っていたんですね。今回は、KEIJUさんのライブパフォーマンスをしっかり見せつつ、『ReVers3:x』の世界観も映像として綺麗に見せるというミッションがあり、それを実現できるところまでは持ってこれたなと感じています。

増田：撮影を行なったソニーの「Volumetric Capture Studio Tokyo」も、2020年8月の時点では60、70台ぐらいだったカメラが、現在では100台近くにまで増えていたり、使っているカメラも変更して、照明もより撮影に最適なものに変更されています。こうした物理的なアップデートに加え、画像処理のアルゴリズム的なアップデートもあって、より綺麗な3D映像をお見せすることができたと思います。R&Dセンターで日々研究している最新の技術を『ReVers3:x』に転用していることがアップデートに繋がっています。

■関連記事はこちら
Volumetricからメタバースまでソニーミュージックグループが取り組むエンタメビジネスの最前線【前編】

Volumetricからメタバースまでソニーミュージックグループが取り組むエンタメビジネスの最前線【後編】

伊東：でも、まだまだ見てくれる人たちをびっくりさせられると思いますよ。時間の制約があったので、今回は行けるところの半分くらいかなと感じています。驚きの度合いとしてはまだまだですね。例えば、収録ではなくこちらも生配信でやっていたら、世の中にはもっとインパクトを残せたはず。今後は、まずそこにたどり着きたい。今回限りの単発でこのプロジェクトやっているわけではないですし、自分もHIPHOPが好きなので、そのカルチャーを含めたギミックをタイミングごとにご提案して『ReVers3:x』でアウトプットできればと思います。

後編につづく

文・取材：油納将志
撮影：増田慶