REALITY株式会社の研究開発部門「GREE VR Studio Laboratory」は、メタバース時代の先端研究開発成果であるバーチャル演奏技術「AI Fusion」の映像を公開した。
近年、メタバースのサービスにおいて、3D空間でのアバターの表現力向上が期待されている。多くの人々が集まるメタバースでのアバター技術は、個々のユーザーによる表現力とリアルタイムのモーション生成技術の融合であり、その技術向上はクリエイターエコノミーとしての価値や可能性を拡げるものになる。今回公開した映像は同社が提供するスマートフォン向けメタバース「REALITY」で利用できるアバターとスマートフォンからの顔認識に、表現力高く汎用的な音楽演奏表現を実現する「AI Fusion技術」を融合させることで実現したミュージックビデオ風のデモ映像となっている。
研究内容
実験用に書き起したオリジナル楽曲「ツユハナビ」（作詞作曲・菜那）にあわせてピアノ、エレキギター、エレキベース、ドラムの4種類の楽器の正しい演奏を行う腕や指の動作を生成。今回発表したアバター操作アシストAI技術「AI Fusion」により、全身のモーションや表情を動的に融合させ、リアルタイム映像で自然で高度な演奏パフォーマンスを自由に行うことを可能にしている。歌唱の表情はスマートフォン向けメタバース「REALITY」と共通のアルゴリズムで収録し、全身動作はVFX映画の製作などに使われるクレッセントにて収録した。
今回開発した技術を使用して、将来的には任意の楽曲を自由な空間で、スマートフォンだけで歌唱や高度な演奏を他のユーザーと同時に全身動作で表現できる可能性があるとのこと。
