公益社団法人日本プロサッカーリーグ（以下、Jリーグ）と日本電信電話株式会社（以下、NTT）は、2024年7月27日（土）に国立競技場で開催されたJクラブとヨーロッパの強豪クラブが対戦する「明治安田Jリーグワールドチャレンジ2024 powered by docomo」において、NTTコンピュータ&データサイエンス研究所（以下、NTT研究所）が研究を進めている、PSZ（パーソナライズドサウンドゾーン）技術を搭載したオープンイヤー型イヤホンが実現するリアルとバーチャルが融合する音響XRを活用したスポーツ観戦により、スタジアムの臨場感を感じながら音響XRによる盛り上がりを楽しむ新しい観戦体験の実証に関してNTTソノリティ、NTT ExCパートナーの協力のもと実施した。オープンイヤー型イヤホンと音響XRの活用により、これまでにないエンターテインメント体験の実現を目指す。
1.背景
これまでスタジアムでイヤホンからの音声実況を聴く場合、インナーイヤー型イヤホンでは耳が塞がれてしまうためスタジアム観戦で体験できる臨場感（演出音・歓声など）を損なう要因となっていた。本実証ではオープンイヤー型イヤホン「耳スピ」で音声実況を聴くことにより、耳を塞がずに臨場感と周囲の人とのコミュニケーションの双方を楽しめる新しい観戦体験を創出するとともに、選手の情報や戦況、戦術をリアルタイムに届けることで、ホスピタリティ向上にも貢献する。
NTTグループでは、解説を聴き取るだけではなく、NTTの音響XR活用により、あたかも解説者が隣の席から解説しているような空気感を再現することでさらなるスタジアムでの盛り上がりやファンエンゲージメント向上を実現できると考えた。
2.実証概要
本実証ではオープンイヤー型イヤホンとNTTの研究開発技術である、音響XRを活用したイマーシブなオリジナル実況解説をスタジアムの観客に配信した。アプリをダウンロードすることなく、専用の二次元コードをスマートフォンで読み込むことで解説をすぐに聴くことができる仕組みになっている。
スタジアムの音環境は常時80dBを超える環境でしたが、オープンイヤー型イヤホンで耳を塞がずにオリジナル実況解説をクリアに聴くことができ、かつ、配信遅延は500msec以下で違和感なく体験してもらうことができた。
3. NTTの音響XRのポイント
NTT研究所では、耳を塞がないオープンイヤー型イヤホンを利用したリアル空間の音とバーチャル空間の音を融合させる音響XRの研究開発をすすめている。音響XRの利用先のひとつとして、スタジアムでのサッカー観戦時に周囲の臨場感はそのままに、音声解説や空間音響コンテンツを耳元から再生することで、サッカー観戦の理解やスタジアムの盛り上がりを助けることが可能となる。
これまでNTT研究所では、ユーザーが聞きたい音響デバイスの音を提示する位置を制御し、周囲の音が被らない位置から、あたかも聞こえるように提示することで、周囲の音が耳に聞こえる状況下でも音による情報提示を可能にした。しかし、音の提示に利用される頭部伝達関数（HRTF）は人それぞれに異なる耳介形状の影響を受け、すべての人に精緻に等しく音の方向を提示することに課題があり、クリエイターが意図したとおりの同一の体験を提供することが困難であった。
今回NTT研究所ではオープンイヤー型イヤホンでも立体音響を実現する音響信号処理と、HRTFが周波数上に生じる谷（ノッチ）や山（ピーク）を制御することで音の方向を制御する千葉工大飯田研究室が開発したパラメトリック・ノッチ・ピーク HRTFモデルと組み合わせ、個人に適した複数種類のHRTFの配信を実現している。さらにこの処理を配信者が手軽に利用可能なDAWのプラグインにすることで、普段の配信環境を維持したままリアルタイムに音の処理を行っている。これにより、それぞれの体験者に合わせて最適な音響XR体験を配信する実証実験を行った。
本実証実験で得た、音響デバイスでの音量、実況解説配信を聴きながら試合を観戦する体験による、集中力・耳の疲労感、HRTFの耳モデルの提供方法、実試合での体験提供のフィージビリティの確認を行い、今後の音響XRの研究開発につなげNTTグループ会社を通じたサービス展開を検討していく。
4. 今後の展開
今回、実施した配信システムをスタジアムやアリーナ等実施されるさまざまなイベントなどで活用してもらえれば、スタジアム・アリーナなどの来場者は、オープンイヤー型イヤホンとスマートフォンを持参することで、手軽に新しい観戦体験が楽しむことができるようになる。本実証で得られたデータ、知見を活かした事業化の検討を行うことで新しいスポーツ観戦、エンターテインメント体験の
普及をめざしていく。
