ムーミン谷の音を現実に拡張させる技術『Sound AR™』――音で伝えるムーミンの物語の世界観【前編】

• • 

    八木 泉氏

    Yagi Izumi

    ソニーホームエンタテインメント＆サウンドプロダクツ
  • 

    井手口悦久

    Ideguchi Yoshihisa

    ソニー・ミュージックソリューションズ
  • 

    布沢 努氏

    Fuzawa Tsutomu

    ソニー・インタラクティブエンタテインメント

ユーザーの動きと連動した“音”によるAR（拡張現実）体験

──1月16日から埼玉県飯能市の『ムーミンバレーパーク』でスタートしている『サウンドウォーク ～ムーミン谷の冬～』（以下、サウンドウォーク）は、ソニーの「Xperia™」スマートフォンとオープンイヤーステレオヘッドセット「STH40D」を使って楽しむ体験型サウンドアトラクションです。実際にヘッドセットを装着してパーク内を散策したところ、目の前に広がる情景とともに、ムーミンたちの話し声や足音が聞こえてきました。このアトラクションに使われている、『Sound AR』という技術が生まれた経緯を教えてください。

八木：多くの方が「AR」（Augmented Reality・拡張現実）と言うと、「現実の風景にバーチャルの視覚情報を重ねたもの」という視覚的な表現を思い浮かべると思いますが、「Sound AR」は視覚ではなく、聴覚によるAR体験です。

この技術がソニーで生まれた背景には、「スマートフォンの画面からの解放」というテーマがありました。最近はスマホの画面を介したコミュニケーションが主流です。しかし、我々は現実世界の風景、今向き合っている相手とのコミュニケーションを重視したソリューションを開発したいと考えました。

──『Sound AR』の技術的な特徴を教えてください。

八木：『Sound AR』には、以下の3つの特徴があります。

●『Sound AR』の特徴
①オープンイヤーのイヤホンを使用して、現実世界と仮想世界の音が混ざり合う。
②ユーザーの位置や動きと連動して音声を再生する、位置連動・身体連動機能。
③立体的な音場を再現する空間音響技術。

この3つのテクノロジーの組み合わせによって、より臨場感を高めた音によるAR空間を再現できるようになりました。

布沢：ソニーでは長年イヤホンなどのデバイスを開発してきましたし、私はゲームのサウンド設計を通じて空間音響の技術に取り組んできました。これまでバラバラに培ってきた技術を融合させれば、新しい体験が生まれるのではないかと。そこにソニーミュージックグループ、SIEの力を組み合わせることで、今回の『サウンドウォーク』というアトラクションが生まれました。

──貸し出される「Xperia」スマートフォンを持ち、イヤホンを付けて、パーク内を歩くと、特定のポイントでストーリーが語られていきます。具体的にはどのような仕組みになっているのでしょうか。

八木：ユーザーの位置を把握するために、スマホのGPS機能を使っています。ユーザーが特定のエリアに入ったことをGPSでセンシングし、そのエリアに沿ったストーリーやBGMが再生されます。また、歩いたり走ったりジャンプをしたりという動きも、スマホの加速度センサー、ジャイロセンサーでセンシングしています。これにより、その人の動きに合った音が再生できるようになっています。

井手口：AIも使っているんですよね。

八木：はい、センシングにもソニーのR&Dの技術を活用しています。機械学習でユーザーの動きを判別しており、歩いたのか、ジャンプしたのか、写真を撮るためにスマホを持ち上げたのかなどを区別して自然なインタラクションを提供するようにしています。

小説『ムーミン谷の冬』の感動を音で体感

──『サウンドウォーク』が完成するまでの流れをお聞かせください。プロジェクトがスタートしたのはいつでしょう。

八木：正式にスタートしたのは、2019年秋ごろからですね。

井手口：もともとSMSは、『ムーミンバレーパーク』の「エンマの劇場」で行なわれている舞台ショーに関わっていました。そんななか、八木さんも『Sound AR』の企画を温めていると聞いて、それなら「エンマの劇場」の演出を手掛けている小栗 了さんにもプロジェクトに参加してもらって、一緒にやりましょうという話になりました。

八木：我々ソニーには技術やデバイスがありますが、イベント運営に関しては素人です。SMSや小栗さんとご一緒することができて、『ムーミンバレーパーク』により良い提案ができたと思います。

井手口：最初に我々が提案したのは、『Sound AR』によるパークのオーディオガイドでした。パーク内に点在するオブジェや施設を『Sound AR』で詳しく説明して、ムーミンの世界観をもっと知っていただけるようなアトラクションにしようと考えていたんです。でも、パーク側から「冬のイベントとして面白いものができないか。『ムーミン谷の冬』という小説を題材に、イベントを考えてほしい」と具体的なテーマをいただいて。そこからなかなか険しい道のりが始まりましたね（笑）。

小栗さんは非常に熱い方で、「せっかくなら感動できる作品にしましょう」と言ってくださって。ムーミンがひと冬を越えて大人になっていく、素敵な成長ストーリーを作り上げてくださいました。我々はもう少し軽いイベントを考えていましたが、結果的に約1時間かけてパーク内を散策する大作になりました。

──灯台に近付くと音声が流れるというように、パーク内のさまざまな場所にサウンドが配置されていますよね。どのように、マッピングをしていったのでしょうか。

八木：『Sound AR』でアトラクションを作るには、場を理解することが重要です。まずはパークで何度もロケハンを重ねて、『ムーミン谷の冬』のストーリーにマッチングする場所を探して、演出の小栗さんと相談しながら大枠の構成を決めていきました。

一般の音声ガイドは、「ここに行ったらこの音が流れる」というスポットごとの体験が多いのですが、今回重視したのは各スポットをつなぐルートにも音を配置して、体感していただくこと。

小栗さんからも「アトラクションの体験中、ずっと音を流したい」というリクエストがあり、約1時間の『サウンドウォーク』の間、途切れることなく音が流れます。セリフだけでなく、BGM、環境音、お客様自身が奏でる効果音をうまく重ねて、作品の世界観を作り上げていきました。

井手口：ストーリーを追うだけでは飽きてしまうかもしれないので、ときには体を動かしてもらったり、スマホのカメラで写真を撮影したり、メリハリをつけて楽しんでもらうよう構成しています。

八木：大枠が決まったら、音とストーリーをパーク内にどのように配置すればいいのか、絵コンテのようなストーリーボードを作りました。お客様がどういう行動を取るのか、どれくらいのスピードで歩くのか、ここで足を留めていただくにはどうすればいいのか、シミュレーションしながら組み立てています。

布沢：私の作業パートはサウンドの仕上げが主で、皆さんのイメージしたものを実現できるよう、各所の音の調整、配置を行ないました。その際、重要なのが音を流すタイミング。間が空きすぎると違和感を与えてしまいますが、「次は何が起きるんだろう」と言う驚きも体感してもらいたい。やっていることは、ゲームのサウンド制作に近かったですね。

とは言え、画面内のキャラクターを動かすのとは違い、こちらはパーク内をお客様自身が歩くことによっていろいろな出来事が“音”を介して起きる。そこが新しいし、ゲームとは似て非なるところだなと思いました。

音の力で現実を錯覚させる

──完成に至るまでは、相当試作を重ねられたそうですね。

八木：どこで音を鳴らすかなど、配置をかなり細かく調整しています。音の配置を変えたり、最後のほうで風の環境音を増やしたりしていたら、すごいコンテンツバージョン数になっていました（笑）。

布沢：確かに（笑）。みんなが思い描いているイメージを実際に具現化するのに、何度もトライアンドエラーを繰り返しました。先ほども話に出ましたが、音は間とメリハリが大事。実際に現場を歩いてみないと、その“間”がつかめなかったんです。

八木：だから昨年末はパークに通いつめ、布沢さんが音を作り、私が配置を調整して……という作業をえんえん繰り返していました。

井手口：普通はどこかで区切りをつけますが、皆さん際限なく時間と労力をつぎ込んでいましたよね。もはや職人の世界（笑）。その甲斐あって、納得のいく作品に仕上がりました。

八木：臨場感のある音づくり、想定した場所で音を鳴らすセンシング能力や再生能力などを突き詰めた結果、『Sound AR』の体験とはこういうものだ、というショーケースにできたのではないかと思います。

井手口：最終的に自分が泣けるところまで持っていこうと思いましたが、最後は検証のたびに泣いていました（笑）。

布沢：それを見て、私と八木さんはガッツポーズでしたね（笑）。

──なかでも、特にこだわった音の演出について教えてください。

井手口：冬から春に向かうストーリーなので、歩く音がどんどん変わっていきます。雪を踏む音も、最初はキュッキュッという新雪を踏んだ音だったのが、雪が深くなり、最後は雪解けのぬかるんだ音になっていく。そういう足音からも、季節の移り変わりを感じ取っていただけるようこだわりました。飛び跳ねたときのズボッという雪の音も季節で変わっていったり、自分の動きに合わせて楽器の音が鳴る場面もあるのですが、そこも楽しいですよ。

布沢：自分の動きに合わせて雪を踏みしめる音は、はっきり言ってしまうと『Sound AR』が作り出す“嘘”ですよね。天気にもよりますが、実際には、雪は積もっていないわけですから。でも、それを音の力で錯覚させる。私としては、そこに注力しました。お客様が歩いたときに、バリエーション豊かでリアリティのある音が鳴り、その気にさせる。音だけでここまで表現できるのが、聴覚的な拡張現実『サウンドウォーク』の目玉だと思います。

八木：左の道からリスが現われたり、湖から氷姫がやってきたりという立体音響にも、こだわっていますよね。

布沢：「背後でドアが閉まった」「あっちから何かがやってくる」と音だけでわかるのが、空間音響のすごいところ。普通のステレオ音響では、あのようには聞こえません。さらに、ユーザーの向きもスマホでセンシングしているので、例えば、山のほうから風が吹き下ろす場面では、ユーザーが体を回転しても一定の方向から音が聞こえるようになっています。

井手口：それともうひとつ、忘れてはいけないのが豪華声優陣の熱演です。今回はサウンドだけでストーリーを伝えるので、「目で見えるときよりもさらに感情をこめて演技してほしい」と小栗さんから指示がありました。声優の皆さんにとっても、新しいチャレンジだったのではないかと思います。

後編につづく

文・インタビュー：野本由起
撮影：増田慶

© Moomin Characters ™