映像の企画から制作、映像編集、配信・流通向けサービスに至るまでを、グローバルにワンストップで届けるIMAGICA GROUPと日本電信電話株式会社（以下、NTT）は、IOWN時代のリアル・サイバー融合空間の表現・演出技法に関する総合的な共同検討に着手した。本共同検討を通じ、IMAGICA GROUPのクリエイティブとテクノロジーとNTTの映像音声・3次元空間情報・感性情報などの処理に関する先進技術を掛け合わせることで、IOWNの高度なデジタルツインコンピューティングによって可能となる、新たなメディア体験やコミュニケーションUI/UXの具体化に取り組む。
1.背景と目的
IMAGICA GROUPは、映像の企画から制作、映像編集、配信・流通向けサービスに至るまで、高品質で多様なサービスや製品をグローバルにワンストップで提供している。また、グループを横断した研究開発組織を構え、技術の集積・深化を進めながら新技術の開発にも積極的に取り組んでいる。NTTは、さまざまなパートナーと連携し、IOWNをはじめとする革新的な情報ネットワークやコミュニケーション基盤に関する研究開発を進めている。これまでIMAGICA GROUPと NTTとは、（一社）映像配信高度化機構の会員企業として高精細・高臨場映像提供の共同実証に取り組むなど、さまざまなな連携を図ってきた。今回の共同検討の開始によって、空間とヒトの超リアルかつ環世界的なデジタルツインコンピューティングの実現に向け、従来の映像制作・提供の分野に限らず、リアルとサイバーが融合、共生する空間の表現・演出技法の検討を進めていく予定。
2. 共同検討の概要
（1）リアル・サイバー融合型の新たなコミュニケーションの創造
地域社会においては、既存の地域課題に加えてコミュニティの変化にともなう教育や医療などにおける新しい課題も抱えており、その解決に向けて、地域外の「関係人口」と呼ばれる人材が、地域づくりの新たな担い手になることが期待されている。他方、人の活動の場はリアル空間から、SNSやウェブ会議などのオンライン空間、さらにメタバースに代表されるサイバー空間へと拡大・多様化している。
そこで、本共同検討においては、「関係人口」の拡大に向けて、空間とヒトのデジタルツインコンピューティングによって自宅に居ながら観光地などに没入できるフォトリアルなサイバー空間を構築し、リアルとサイバーが融合した新しいコミュニケーションの創造をめざす。具体的には、IMAGICA GROUPが保有する高精細・高臨場な映像・コンテンツ制作ノウハウとNTTで研究開発中の3D空間メディア処理技術やAnother Me関連技術に代表される各種メディア処理／AI技術を、組み合わせることでこれを実現する。
このような取り組みの第一歩として、NTTがNTT西日本、特定非営利活動法人男木島生活研究所、有限会社ケノヒとともに発足した地域共創推進に向けた「TENGUN Ogijimaプロジェクト」において、両社による検討結果を活用していくことを予定している。
（2）ICTによるエンタメコンテンツの高付加価値化
音楽、演劇を中心とするライブエンタメは、人々の暮らしをより豊かにする重要な検討対象であり、IMAGICA GROUPとNTTは、これまでも音楽ライブを題材とし、横方向12Kピクセルの超高精細映像とさまざまなメディア情報を組み合わせて同期伝送することで、ライブエンタメ丸ごとを遠隔地で体感できる未来型のライブビューイングの価値を実証してきた。
昨今、デジタル化やリモート文化の広まりにより、音楽ライブ等のライブイベントを現地会場以外でも楽しむ機会が増えている。しかしながら、現地に居るような一体感や熱狂といった情動体験をリモート環境で得ることは難しいと考えている。NTTは、ヒトのデジタルツインコンピューティングにより、観客の情動状態を推定・モデル化し、それをもとに視覚や触覚といった知覚に刺激を与えることで、各ユーザーが望む楽しみかたに合わせた仮想ライブ空間を生成する技術を検討してきた。
本共同検討では、IMAGICA GROUPの新たなメディア体験に関する企画・演出とNTTの技術の掛け合わせにより、仮想ライブ空間でのこれまでにない魅力的なメディア体験の創出をめざす。
また、より魅力的なライブエンタメコンテンツを提供する技法として、立体空間表示・表現を用いた演出や、伝統技能・芸能における技の継承および、それを活用したライブエンタメ内での表現や演出についても検討を進めていく予定。
（3）環世界の考えかたにもとづく多様なコンテンツ・メディア提供方法の検討
ドイツの生物学者ヤーコプ・フォン・ユクスキュル博士によって、「さまざまな生物はそれぞれ、種特有の知覚世界＝環世界を持って生きており、その主体として行動している」、という考えかたが提唱されている。NTTでは、この環世界の考えかたにもとづき、IOWNが創り出す新たなUI/UXとして、受け手側の人、モノ、環境などの多様性、それぞれの価値観に応じて、伝えるべき情報やその処理の仕方を変化させられる情報提供の方法について検討していく。
本共同検討では、視覚や聴覚に限らないマルチモーダルなコンテンツ、ユーザごとの感覚、嗜好、感情、行動などにあわせてインタラクティブに変わるコンテンツなど、多様な受け手の価値に応じたコンテンツの提供やメディア体験の実現もめざす。
具体的には、NTTで研究開発を進めている、「周囲の音情報を正確に集音し、周囲の状況を理解したうえで、適切に音を制御するパーソナライズドサウンドゾーン技術」、「人間の目で把握困難な被写体の性質を見分けられるハイパースペクトル画像を、通常サイズのデジタルカメラで撮影可能とするハイパースペクトル圧縮撮像技術」、「映像や音に加えて、振動による触覚を提示することで、より臨場感のある体験を実現する高臨場感提示技術」などをコンテンツやメディア体験に適用し、従来の映像音声の提供に留まらない新たな価値を提供するための表現・演出技法について検討を進める予定。
3. 今後の予定
本共同検討の結果にもとづきフィールド実証などを進めることで、ユーザ価値の可視化や評価を行い、革新的技術の創出をめざす。また、大阪・関西万博など、より広くその価値を体験できるフィールドや機会を検討し、IOWN時代の豊かな社会の具現化に貢献していく。
