『360 Reality Audio』にかけるエンジニアの思い“音楽に新たなイノベーションを”【前編】

• 

  澤志聡彦

  Sawashi Tokihiko

  ソニー
  ホームエンタテインメント＆サウンドプロダクツ事業本部V&S商品技術2部
  チーフエンジニア

• 

  鈴木浩二

  Suzuki Koji

  ソニー・ミュージックソリューションズ
  ソニー・ミュージックスタジオ
  部長

• 

  内藤哲也

  Naito Tetsuya

  ソニー・ミュージックソリューションズ
  ソニー・ミュージックスタジオ マスタリング・ルーム
  アシスタント・マネージャー

身体が音に包まれているかのような音楽体験

──まずは、『360 Reality Audio』の開発の経緯を教えてください。

澤志：開発のきっかけは2017年にまで遡ります。それまで注力していたハイレゾなどの音響技術開発が充実してきたことを受け、今後、中期的に開発すべきものは何かという議論がありました。そこで、これまではフォーカスされることが少なかった音場表現、音場体験を拡大させる技術開発に取り組むことになったんです。そこから『360 Reality Audio』の開発が本格的にスタートしました。

音場技術を開発していく上でテーマにしたのが“超臨場感”です。従来の平面音場から360度、全方位から音に包み込まれる立体音場へ。これまで体感したことがないリスニング体験を提供することを目指して開発に着手しました。

──ハイレゾも音場表現に優れていますが、立体音場を実現させる『360 Reality Audio』は、まったく異なるアプローチということですね。

澤志：ハイレゾはサンプリング周波数や量子化ビット数を軸に発展した音響技術で、再生したときのリアルな音場の広がりも実現してくれました。音場表現という点においては、従来のステレオ再生のひとつの到達点として、表現されていると言えます。

『360 Reality Audio』のアプローチは逆で、音の実在感を追求するために音場の再現力を高めるにはどうすれば良いかを考えて、生み出された技術です。音場を立体化させて空間のなかにある音を体感できるようにするためのものなので、ハイレゾとは異なる発想で開発されています。

──『360 Reality Audio』の技術的なしくみや特徴を教えてください。

澤志：MPEG-H 3D Audioという国際標準規格をフォーマットにして、ソニーが独自に開発した「360立体音響技術」が基幹になっています。ユーザーの耳をリスニングポジションのスイートスポットにした上で、360度、好きな場所にボーカルやギター、ベース、ドラムなど、あらゆる音源をオブジェクトとして自由に配置して音楽や音声コンテンツを制作することができます。

■ソニーの「360立体音響技術」関連記事
楽曲YOASOBI「夜に駆ける」原作小説からイメージの連鎖で生まれたオーディオドラマ【前編】
楽曲YOASOBI「夜に駆ける」原作小説からイメージの連鎖で生まれたオーディオドラマ【後編】

球体を思い描いてもらって、ご自身がその中心にいることを想像してもらい、360度あらゆる角度からそれぞれの音が鳴らせると考えてもらうと、イメージしやすいかもしれません。

仕組みとしては、ユーザーのヘッドホンやスピーカー再生で、音源の位置情報を照らし合わせながら、どこに音源を配置するのかというレンダリング処理を行ないながら楽曲を再生します。ただ、ヘッドホンの再生ではLとRのふたつの出力しかありませんので、そのふたつで全天球の再生を行なうために個人最適化したHRTF（Head Related Transfer Function：頭部伝達関数）を用いたバーチャライザーを活用して、ヘッドホンでも自分の周囲に音が広がっているような、ボーカルやギターなどがヘッドホンの外側に定位して聴こえるような再生システムを構築しています。

専用アプリの「Headphones Connect」を使い、スマホのカメラで自分の耳の形を撮影し、聴感特性を簡単に最適化してくれる。

また、スピーカーにおいても高さ感や空間的な広がりを再現できるような工夫を行なっています。まだ『360 Reality Audio』を体験していない方に立体的に音が聴こえるというのはどういうことなのかご説明する際、我々は音に包まれる体験だとお伝えしています。

■360 Reality Audio ソニー認定ヘッドホン個人最適化方法【ソニー公式】

──ソニーとしてはサラウンドヘッドホン向けに開発された「3D VPT（Virtualphones Technology）」をはじめ、長年にわたり立体音響技術の開発を行なってきて、技術も蓄積されてきました。『360 Reality Audio』はそうした立体音響技術が立脚点になっているのでしょうか。

澤志：まさに「3D VPT」をはじめ、ソニーではバイノーラルで立体音響を再現するための技術の蓄積があります。今回の『360 Reality Audio』においてもヘッドホンの再生において「3D VPT」などの開発で蓄積した技術を活用して、ヘッドホンでのリスニング体験を進化させています。

9.1ch 3D VPTを採用して驚異のサラウンド音場を実現した『MDR-HW700DS』。ソニーのデジタルサラウンドヘッドホンシステムは、その音場感がユーザーから好評を博し、ロングセラーモデルとして知られる。

音場を開発していく上で、「3D VPT」のような再生側の音場生成のための信号処理があり、加えて元々のフォーマットも変えようとしたんです。そのコンテンツを作るためのフォーマットと、さらにそのコンテンツを届けるストリーミングの技術、そして再生するための技術という大きく3つからなる技術要素を新たに構築することで、『360 Reality Audio』の実現につながっていきました。

ヘッドホン再生における『360 Reality Audio』と「3D VPT」との違いは、HRTFの考え方です。「3D VPT」はある標準的なHRTFデータに基づいて音場設定がされています。『360 Reality Audio』も標準的なHRTFは用意していて、どんなヘッドホンでもその標準HRTFを使えば『360 Reality Audio』の平均的な体験ができるようになっています。

いっぽうで『360 Reality Audio』は、「Headphones Connect」アプリを用いてHRTFを個人に最適化させて再生することも実現しました。「Headphones Connect」ではアプリでユーザーの耳の写真を撮影して、その写真を元に、その人に最適なHRTFを推定することができます。その数値をヘッドホンの再生時に適応させることで、『360 Reality Audio』本来の体験ができるようになります。

──『360 Reality Audio』の認定ヘッドホンの定義とは？

澤志：HRTFを個人に最適化できるヘッドホンで、音のクライテリア（判断基準）を満たした製品となります。今の段階ではソニーの製品のみとなりますが、プレスリリースでも触れられていたように他社からも製品がリリースされることが決まっています。

「全方位スピーカーシステム」搭載で部屋中を音楽で包むワイヤレススピーカー『SRS-RA5000』（写真左）や、6月25日に発売される最新の完全ワイヤレス型ノイズキャンセリングヘッドホンの『WF-1000XM4』（写真右）など、『360 Reality Audio』認定機器が次々と登場している。なお、認定機器を使った推奨環境が『360 Reality Audio』の音楽体験をもっとも豊かにするが、認定されていないヘッドホンでも、「Deezer」「nugs.net」といった音楽ストリーミングサービスから『360 Reality Audio』の立体音響を聴くことはできる。

■ソニーの『360 Reality Audio』認定機器情報

音楽のリスニングスタイルにイノベーションを起こしたい

──ソニーが次世代の移動のカタチを追求するために研究を行なっている電気自動車『VISION-S』にも『360 Reality Audio』が搭載されていると伺いました。『360 Reality Audio』は音楽をはじめとするエンタテインメントの新たな体験をさまざまなシーンにもたらすことが期待されますが、音楽からアプローチされたのはなぜなのでしょうか？　立体音響ということで、サラウンドという捉え方をされてしまう側面もあると思うのですが。

澤志：音楽が最初だったというのは、我々はずっとオーディオの開発を手がけてきたこともあり、音楽のリスニング体験を変えるという目標で開発を進めてきたことが大きな理由として挙げられます。

音楽は録音技術が生まれるまでは、生演奏のライブだけで親しまれてきたわけですが、モノラル録音が発明されると音楽はライブだけでなく、録音して繰り返し再生し楽しまれるものになりました。その後、ステレオ録音になり、より再現性が高まりましたが、ステレオによる音楽体験がずっと長い間つづき、50年近く同じ技術を磨き上げてきたわけです。オーディオのマルチ化はありましたが、なかなか普及せず、今もスピーカー、ヘッドホンを中心としたステレオでの音楽の楽しみ方が主流となっています。

そんな状況がつづくなかで、もともとライブだった音楽を超臨場感のある体験としてヘッドホンやスピーカーで実現させようという考えをもって開発のスタート地点に立ったんです。そのフォーマットをベースに360度に音が配置できて、ライブのような臨場感や広がり、高さの表現、後ろや前から音に包み込まれる感覚を実現していきました。

我々は、『360 Reality Audio』で音楽のリスニングスタイルの歴史を変えようという気概で開発を進めてきました。だから、まず音楽で『360 Reality Audio』のポテンシャルを最大限引き出せるように構築してきたんです。

──『360 Reality Audio』は、「Deezer」「nugs.net」といった音楽ストリーミングサービスを利用しますが、『360 Reality Audio』でフォーマット化された楽曲ファイルは、モバイル環境でもストレスなく再生できるのでしょうか。

澤志：現在、音のクオリティを上位からレベル3、2、1と3段階に分けています。いちばんビットレートが高いレベル3の音質で1.5Mbpsの通信速度が求められますが、4G環境でも十分再生が可能です。次のレベル2は1Mbps、レベル1は640kbpsになっており、通常のストリーミングサービスよりもやや高めではありますが、現在の通信環境において問題なく再生可能です。

──ビジネス的な側面としてはライセンスビジネスを主体としながら、ソフトやコンテンツの広がりも含めて全体像を創っていくことに注力されているのでしょうか。

澤志：現在は音声のみの音楽を中心としていますが、アメリカのCESでも発表している通り、映像を付随した『360 Reality Audio』のコンテンツも登場する予定です。

さらに『360 Reality Audio』はライブ音源の再現性に優れていますので、ライブ映像を伴ったストリーミングに対してもアプローチしていきたいと考えています。さらに車への搭載も検討しています。車内空間は密閉されていて、なおかつスピーカーが複数搭載されていることが多いので、『360 Reality Audio』が持つ音場体験のポテンシャルを十分に引き出せる環境なんです。また、HRTF自体の技術もさまざまなシチュエーションに展開できますので、『360 Reality Audio』に限らず、さまざまなシーンへの技術転用も目指しています。

■360 Reality Audio とステレオの比較視聴【ソニー公式】

「ウォークマン®」が誕生したときと同じワクワク感

──鈴木さん、内藤さんが『360 Reality Audio』の技術的な説明をソニーの皆さんから受けられたのはいつくらいだったのでしょうか。

鈴木：私たちは1年半くらい前ですかね。アメリカでサービスがローンチされる前に試聴させてもらいました。

──最初に体感されたときの印象を教えてください。

鈴木：これまでにも高さ方向の音を加えたサラウンドシステムやバイノーラル録音といった音の実在感を表現する技術は存在していて、我々エンジニアもさまざまなコンテンツ制作に参加してきました。

しかし、『360 Reality Audio』は360度に広がる球体空間に、最大128個の音源をオブジェクトとして配置して音楽が作れるというので驚かされましたね。実際、体験するまではなかなか音のイメージを想像しづらかったのですが、試聴すると音場がリアルに表現できていて、さらに驚かされたのが印象に残っています。

内藤：“アミューズメント感”のある技術が出てきたなと思いました。アミューズメントというのは、ただ単純におもしろいとか娯楽性があるという意味ではなくて。自分は「ウォークマン®」が初めて登場したときに、音楽が外でも聴けるようになることに興奮しました。あのときに感じた高揚感、ワクワク感に近いものを『360 Reality Audio』を初めて体験したときにも感じましたね。

それと、通常、ヘッドホンを使用すると左右の耳から直接音が入ってきて頭のなかで音が定位する頭内定位で音楽を聴くことになります。頭内定位は、頭のなかで音が鳴っているように聞こえるので、ステレオ録音された楽曲の音の立体感がどうしても損なわれてしまうんですね。しかし、『360 Reality Audio』はヘッドホンでも、ステレオスピーカーで聞いているような頭外定位の立体的な音場を実現してくれます。技術的な視点では、単純にこのことに驚かされましたね。

──プロの耳で聴いたときの『360 Reality Audio』の音の実力と可能性というのはどのように感じましたか。

鈴木：私は、スピーカーでのデモから先に体験をさせてもらったんですが、その時点で完成形となる今のものと同じくらいのクオリティの音が実現されていました。ヘッドホンで聞いたときの印象も同じで、音に立体感があって、音質もクリアでした。これならすぐにでもサービスを開始できるのではないかと思いましたね。

内藤：私も同じですね。体験としてのインパクトが強かったというのもありますが、自分のなかで何の引っかかりもなく聴けたということは音質、表現力ともに問題がなかったということだと思います。HRTFによってヘッドホンが苦手としてきた頭外定位も補完できていますし、今後ももちろん進化をしていくと思いますが、現時点で間違いなくひとつの完成形になっていると思います。

「大滝詠一さんが出会っていたら終わりが見えないはず」

──既に『360 Reality Audio』で新譜を発表しているアーティストもいますし、体験したアーティストやクリエイターの方もいらっしゃると思いますが、そういった方々の反応はいかがでしたか？

鈴木：楽器がそれぞれ分離していて非常にリアルな表現ができているということを挙げられる方が多かったですね。「今まではマスキングされていた音もしっかり聞こえてきて、自分の演奏がそこで鳴っていることがちゃんと把握できる」という感想もありました。

内藤：なかには5.1chの作品を『360 Reality Audio』に再アレンジしたいという方もいましたね。上と下に音を配置できるようになったことで、さらに表現の幅が広げられると感じたのだと思います。

──内藤さんは大滝詠一の『A LONG VACATION 40th Anniversary Edition』も手がけられていますが、大滝さんがご存命ならば『360 Reality Audio』に興味を示されたと思いますか。

内藤：音楽を生み出すことにすごく慎重な方だったので、すぐに手を出されるようなことはなかったと思いますが、それで新しい音が作れるとわかったら、とことんまで追求されたのではないでしょうか。だって、360度の球体空間に音を自由に配置して、動かすこともできるわけですからね。でも、大滝さんが『360 Reality Audio』に手をつけ始めたら、たぶん研究が楽しくなって、作業が永遠に終わらないと思いますよ（笑）。

大滝詠一の『A LONG VACATION』も『360 Reality Audio』として配信されている。

■『A LONG VACATION 40th Anniversary Edition』の関連記事
『A LONG VACATION』は色あせず――大滝詠一の志を継承する名盤の音作り【前編】
『A LONG VACATION』は色あせず――大滝詠一の志を継承する名盤の音作り【後編】

後編につづく

文・取材：油納将志
撮影：冨田 望