CocotamesearchtwitterFacebookSeriesnewsaboutarticlesstorypick up
連載Cocotame Series

Tech Stories~技術でエンタメを支える人々~

22/7のVRライブ生配信は何が"世界初"なのか。プロジェクトメンバーに聞く【前編】

2019.12.27

去る12月7日、秋元康氏がプロデュースするデジタル声優アイドル、22/7(ナナブンノニジュウニ)が、2020年1月から始まるTVアニメ『22/7』の放送開始記念としてミニライブを開催した。

同ライブは、会場のGinza Sony Parkに集まったオーディエンス配信だけでなく、VR生配信によりPlayStation®VR(以下、PS VR)で見るユーザーも同時に楽しめるというもの。しかも、会場のステージ前3箇所に設置されたVRカメラシステムをユーザー側で任意に切り替えられる上、切り替え時に音声が途切れないという世界初の「4Kトライアングルストリーミング方式」での配信を実現させた。ライブ会場に自分がいるかのような臨場感を損なうことなく、視点を自在に変えながらライブを楽しめるのが特徴だ。

このテクノロジーの結実は、ソニーグループが一体となって価値あるVR体験を創出することを目指すプロジェクト「Project Lindbergh(プロジェクト リンドバーグ)」によるもの。本連載では、今回のVRライブにおけるテクノロジーをクローズアップ。その革新性、VRライブの未来について、プロジェクトメンバーに語ってもらった。

4K画質×複数視点×没入感の継続を実現する最新テクノロジー

  • 姜 美希氏

    Kang Mihee

    ソニー・インタラクティブエンタテインメント

PS VRのヘッドセットとコントローラー

「世界初の方式でVRライブ生配信を行なう」──このプロジェクトの陣頭指揮を執ったのが、ソニー・インタラクティブエンタテインメント(以下、SIE)の姜美希氏。今回のVRライブのコンセプト、4Kトライアングルストリーミング方式の特徴、技術的なハードルをいかにして乗り越えたか、話をうかがった。

──今回のVRライブを企画した経緯についてお聞かせください。

姜:私の部署では2017年、アメリカで開催されたゲームショウ「E3」で、SIEがプレスカンファレンス(記者会見)を実施した際に、その模様をPS VRでライブストリーミングするという実験を行ないました。VRでカンファレンスの模様を生配信した場合、価値ある体験を提供できるのか。PS VRがもたらす"センス オブ プレゼンス(実在感)"は、これまでにも"その場にいるような体験"を提供してきましたが、生配信によって"同じ時間を過ごす体験"を皆さんに提供できれば、新たな価値を創造できるのではないか。その効果を試すため、社内のスタッフに向けて配信テストを実施したんです。ただ、このときは初めての試みで勝手がわからず、いろいろな課題が浮き彫りになりました。

その後、2018年4月から「Project Lindbergh」が始まり、私たちもこのプロジェクトに参加することに。プロジェクトメンバーとの議論の結果、「Project Lindbergh」としての生配信は置いておいて、まずは画質、カメラシステム、ユーザーインターフェイスなどを成熟させることに注力したんです。昨年度の活動を通じてそれらの課題に一旦メドがつき、満を持して今回、VR生配信に再チャレンジすることになりました。

──「Project Lindberg」では、これまでにも宇多田ヒカルやSurvive Said The ProphetのVRライブ映像を手掛けてきました。22/7のVRライブには、その経験がどう活かされているのでしょうか。また、今回特に見せたかったポイントを教えてください。

姜:今回のVR生配信では、宇多田ヒカルやSurvive Said The ProphetのVR撮影で得た、画質をどうやって高めていくか、いかにして人物を魅力的に撮るか、ユーザーの皆さんにアーティストを身近に感じてもらうにはどうすればいいかというノウハウを詰め込んでいます。それに加えて、ライブをリアルタイムで体験する高揚感を味わってほしい。そのため、生配信に挑戦しました。

音声が途切れることなく、視点を切り替えるために

──世界初の4Kトライアングルストリーミング方式でのVR生配信ということですが、この技術の新しさ、難しさについて教えてください。

姜:この方式の特徴は3つあります。

①4K画質
②複数視点をユーザー側で切り替えることができる
③視点切り替え時に音が途切れない

ほかにもさまざまなテクノロジーやノウハウをつぎ込んでいますが、今回の核になるのがこの3点であることから「トライアングル」と称しています。
これまでにも色々なサービスでVR生配信は行なわれていますが、多視点のものはほとんどありません。そこで、3つの視点を設けてユーザーが切り替えられるようにしました。そのため「トライアングル」には、視点が3つという意味も込めています。

さらに、複数の視点を切り替えられるVR生配信は過去にもありましたが、切り替わっている間は音声が途切れていました。そうすると、ユーザーは真っ暗ななかに無音状態で取り残されることになり、それまで盛り上がっていた臨場感も一気に削がれてしまう。しかし、画面が真っ暗になっても、音だけでも聞こえていれば、取り残されたような感覚にならずにすむはず。そこで、視点切り替え時に音が途切れないようにしようと。これも先ほどお話しした"センス オブ プレゼンス"をいかにして守るか、という点に帰結します。

──視点切り替え時に音声を途切れさせないために、どんな技術を用いているのでしょうか。

姜:従来のVR生配信は、音声と映像がセットで配信されていたので、視点を替えると必然的にブツッと音が途切れていました。それを今回は、3つのカメラの映像と音声を切り分けて配信しています。音と映像のセットが3つあるのではなく、音はひとつで映像が3つ。音のストリーミングを持続させて、視点を切り替えるときには、映像のほうを音に合わせる仕組みですね。その分、音声と映像の同期を取るのに苦労しました。

──音声と映像のストリーミングで同期を取るのは難しいことなんですね。

姜:原理的にはシンプルなのですが、今回は4K画質で映像圧縮技術もH.265/HEVCを採用しています。さらにビットレートも14Mbpsと低くありません。このスペックの生配信を扱えるエンコーダ(動画の圧縮・変換を行なう機器やソフトウェア)やクラウドストリーミングサービスが存在しない上、VR映像を再生するPlayStation®4(PS4)の性能にも限界があります。画質にこだわった上ですべての条件を満たそうとすると、そのハンドリングは容易ではありませんでした。エンコーダやクラウドサービスの会社に相談しても、「その組み合わせでのストリーミングはやったことはないです」という返答でしたね。そのため必要なものは自前で用意しながら、今回の実現に至りました。

メンバーと目が合う喜びを体感してほしい

──結果的に、VR生配信ライブは大成功で終了しました。TwitterではVR生配信を楽しんだファンの喜びの声も多く見られましたが、姜さんの手ごたえも大きかったのでは?

姜:モニタリングもかねて私もVRヘッドセットをつけてライブを見ていましたが、確かに楽しい体験でした。PS VRでライブを見ている人も楽しく参加できるよう、演出にもこだわっていただいたのが良かったと思います。メンバーと目が合うとすごくうれしくて、「推しができるってこういうことなんだな」と実感しました(笑)。

──今後、VR生配信ライブをさらに発展させるとしたら、どんな未来が考えられますか?

姜:インタラクションをさらに発展させたいですね。今は視点を切り替えるぐらいですが、こちらのアクションに対してアーティストからリアクションが返ってきたり、その逆が実現できると、もう一歩先の“センス オブ プレゼンス”を提供できるのではないかと考えています。今後も、未来を見据えて世界トップレベルのVRテクノロジーを生み出していきたいです。

ノウハウを蓄積し、世界トップレベルのVRライブ生配信を実現

  • 小倉 翔氏

    Ogura Sho

    ソニーイメージングプロダクツ&ソリューションズ

4K画質でのVR映像撮影に大きく貢献したのが、ソニーイメージングプロダクツ&ソリューションズ(以下、ソニー)が開発した撮影機材や映像変換システム。撮影現場でVRヘッドセットを装着して、映像の見え方を確認するプレビューシステムをSIE R&Dチームと協力して開発したのも同社だ。ソニーの小倉翔氏に、機材面から今回のVRライブについて語ってもらった。

──今回使用された機材について、教えてください。

小倉:ステージのセンターと左右両サイドの計3箇所にVRカメラシステムを設置しました。サイドに置いたのは、業務用4K対応ビデオカメラ『UMC-S3CA』で、このカメラはソニー製のフルサイズCMOSセンサーを搭載しており、暗所での撮影に強いのが特徴です。3D立体視映像を撮影するには2台のカメラが必要ですが、『UMC-S3CA』はセンターのカメラに比べると少し大きいので、縦に2台並べて配置しています。

そして、センターに置いたのはソニーのコンパクトデジタルスチルカメラ『RX0』です。センターに配置するカメラは、ステージを横に広く撮れるように、カメラを横向きにしています。暗所の撮影に強いのは業務用の『UMC-S3CA』ですが、『RX0』はサイズがコンパクトなため、横に2台並べても人間の左右の目と同様の位置関係で撮影できるためこちらを使用しました。

『RX0』を2台使ったVRカメラシステム。

──左右の目と同様に撮影するというのは、どういうことでしょうか?

小倉:2台のカメラを並べたとき、ふたつのレンズの間の距離を瞳孔間距離(人間の目と目の間の距離)に合わせたほうが、見える映像は自然になります。人間の瞳孔間距離は60~65mm程度と言われているので、レンズもその距離に極力近づけなければなりません。『RX0』だと、ほぼ同じ距離で撮影できるんです。『UMC-S3CA』はボディサイズが少し大きいのでレンズ間距離は84mm。そのため、内部処理で自然に見えるようにしています。

──VR専用カメラを使用しないのはなぜでしょう。

小倉:市販のVRカメラは画質が低いものが多く、より美しい映像を目指そうとすると使えません。我々に必要なのは、並べた2台のカメラで同期が取れる機能、ステージ外からリモートでも撮影できる機能なので、それらを満たすカメラを選びました。カメラによって個体差があるため、軸のズレなどを直すためにカメラを固定するリグのつまみで事前に調整した上で撮影を行なっています。

「今、目が合った?」 地道な実験を重ねた日々

『UMC-S3CA』を2台使ったVRカメラシステム。

──VR映像の撮影機材において、特に重視するのはどんな点ですか?

小倉:やはり画質は重視しますね。「Project Lindbergh」が行なっているさまざまなVRの実証実験では、最低でも4K画質のカメラを使っています。あとはリモートで制御できるか、2台のカメラを使うステレオ撮影の場合はサイズが小さいかなど、トータリティで機材を選びます。

──会場や用途によって、機材を使い分けているんですね。

小倉:そうです。お客様がいる会場では、ステージ上に大きいカメラを置くと邪魔になるので、明るさが十分ある場合は、すべてのカメラをより小さい『RX0』にしてもいいと思います。また、今回のライブでは使いませんでしたが、カメラができるだけ目立たないよう、透明な一脚も作ってもらいました。揺れやすいのでお客様が盛り上がる会場では使いにくいのですが、揺れないとわかっている会場では使用しています。極力カメラが目立たないようにする工夫ですね。

──リハーサルの際、スタッフがカメラに向かって手を振ったり、カメラに付けた印の位置をいじったりしていましたよね。あれは何をしていたんですか?

小倉:22/7のメンバーが、どこを見ればVRヘッドセットを付けたユーザーと目が合うのか、位置を調整していたんです。VRの場合、被写体がレンズを見ていてもユーザーとは目が合いません。ではどこを見ればいいかというと、2つ並んだレンズが目だとしたら、鼻の位置を見るとバッチリ目が合うように感じられるんです。これも、実験を重ねてわかったことで、ひとりがVRヘッドセットをかぶり、もうひとりがカメラの前に立って、「目、合ってる?」と何度も実験を繰り返しました(笑)。その甲斐あっておおよその位置はわかったのですが、バッチリ目が合うにはどこを見ればいいのか、毎回本番前にテストして調整しています。

──2017年の「E3」でのVRテスト配信から、2年間でどんな撮影ノウハウが蓄積されたのでしょうか。

小倉:機材の進化はもちろん、映像の変換システム、カメラ側のパラメータ調整などさまざまな技術を蓄積してきました。カメラの高さはどれぐらいにすべきか、被写体との距離がどこまで近づけば価値が生まれるかなど演出のノウハウも、今回のVRライブ配信につぎ込んでいます。

会場とは違うVRならではの価値を創出

──ライブをご覧になって、どのような手ごたえを感じていますか?

小倉:今回、22/7の皆さんには、ライブ会場に集まった目の前のお客様に視線を向けつつ、カメラにも目線を送ってもらいました。これによって、VR映像を見ているファンの方もメンバーとしっかり目が合い、その場にいる感覚を味わっていただけたと思います。PS VRにおける実写VRのライブ配信技術に関しては、我々は世界トップレベルではないかと思います。今回、視点を切り替えても音声は途切れないストリーミングを実現させましたが、映像はやはり途切れるので、こうしたラグもなくしていくことが今後の課題だと感じています。

──今後、VR技術をさらに発展させるとしたら、どんな未来が考えられますか?

小倉:ライブは、現場ならではの高揚感や一体感などに価値があります。今回のVRライブ配信では、ユーザーが会場の最前列よりも近い視点に立てること、ステージ上のアイドルと目線が合うこと、好きな視点をリアルタイムで選べることにより、現場とはまた違ったVRの価値を示せたのではないかと感じています。今後は、映像や音、UI(操作性)をさらに向上させて技術面からのさらなる臨場感を追求するとともに、ソニー・ミュージックエンタテインメント(以下、SME)、SIEと一緒にVRならではの演出などを検討し、現実を超えるVRコンサートの体験価値を検証していきたいと思います。

SMEをはじめ、ソニー、SIEなど、グループ各社が協力し、ノンゲームのVRコンテンツの実証実験や開発を行なう「Project Lindbergh」に関しては、こちらの記事もチェック。

漫画家・倉橋トモとプロデューサーが語る『ダミヘになれるVR』の楽しみ方
新感覚の実写VR+立体音響コンテンツ『ダミヘになれるVR』開発チーム座談会

※「PlayStation」および「PS4」は株式会社ソニー・インタラクティブエンタテインメントの登録商標または商標です。
※PS VRを楽しむためにはPlayStation®4が必要です。

文・取材:野本由起
撮影:冨田 望(インタビュー)

22/7公式サイトはこちら

TVアニメ『22/7(ナナブンノニジュウニ)』公式サイトはこちら

PS VR専用アプリ『メゾン22/7 ~私たちと一緒に見よう!VRコメンタリー~』公式サイトはこちら

©Sony Interactive Entertainment Inc.

連載Tech Stories~技術でエンタメを支える人々~