TOPPANホールディングスのグループ会社であるTOPPANは、絵本をハンズフリーで読み聞かせるサービス「Yondee!（ヨンデー）」（以下、本サービス）の提供を開始。クラウドファンディング「CAMPFIRE」にて販売する。
本サービスは、ラインナップされている絵本を専用のウェアラブルデバイスのカメラで認識すると、絵本のページに合わせてタイムリーに読み聞かせの音声コンテンツを提供するサービス。2022年4月にTOPPANが、Tangent Design and Invention Ltd社の協力のもと開発し、これまでイベントにおける体験版の提供などでユーザビリティの実証を行ってきた。今回、新たに絵本や雑誌など紙メディアの画像読み取りに有効な画像認識AIシステムを開発し、本サービスに実装することで、絵本の認識精度が向上。複数の画像をもとに、あらゆる角度から見た紙面の状態をAIにより自動生成し教師データとして学習しているため、子どもの読書シーンにおける様々な体勢下でも、絵本の画像を認識しコンテンツの起動が可能。
なお、TOPPANは、本サービスを活用して読み書き困難な子どもなど多様なユーザーに対して、絵本の読み聞かせがどのような効果を持つかを東京大学 先端科学技術研究センター 先端アートデザイン分野との共同研究も推進している。
「Yondee!」の提供を通じて、子どもへ新たな読書体験を提供し、誰もが絵本を楽しむことをサポートする。
提供開始の背景
スマートデバイスを中心にデジタルメディアが急速に拡大するなかで、アナログメディアはその良さを残しながら、デジタル技術との掛け合わせにより新たな体験価値の提供が期待されている。しかし、絵本や雑誌などの紙メディアにおけるコンテンツの拡張や体験データの取得は、紙面への特殊加工や2次元コードなどの印刷が必要なため、コストの問題や既刊本への対応が難しくその普及には課題があった。
このような背景のもと、TOPPANは、アナログメディアの特性を活かしながらデジタルコンテンツを連携した拡張体験を可能とする本システムを開発した。
昨今、オンラインによるコミュニケーションが主流となり、子供たちのデジタルデバイスに接する時間が増加している。また、読書バリアフリー法の制定により障がいの有無に関わらず、より開かれた読書環境が求められている。これらの課題に対して、本システムを実装した「Yondee!」を通じて紙面とデジタルを連携させることで新たな読書体験を提供し、五感に豊かな生活や健康な心の成長に寄与していく。
「Yondee!」に活用されている画像認識AI システムの特徴
紙面メディアに特化したAIモデル生成技術
書籍などの紙メディアに特化した、教師データ取得環境とAIモデル生成技術を開発した。複数の画像を元に、さまざまな角度から見た紙面の状態をAIにより自動生成し教師データとして学習するため、あらゆる読み取り角度においてスムーズな画像認識とコンテンツの起動が可能となる。
画像認識のみで紙面を拡張するアプリケーションとして提供可能
絵本や雑誌の紙面への2次元バーコードやARリーダーの印刷などを必要とせず、画像のみをもとにコンテンツを提供できるアプリケーションとして提供が可能。そのため、過去に発行された既刊本の画像認識によるコンテンツ拡張にも対応することができる。
多岐に応用できる汎用画像認識システム
スマートフォンアプリ内で動作するAI画像認識エンジンと、カメラモジュールの組み合わせにより、幅広い用途に応用可能なシステムを開発した。アナログメディアとデジタルコンテンツを掛け合わせたさまざまなサービス検討が可能。
今後の目標
TOPPAN は、今回のクラウドファンディングによる提供開始を通じて読み聞かせ拡張サービス「Yondee!」のさらなる検証やニーズ把握などを行い、2025年秋頃からの一般販売を目指します。また、今後はさまざまなコンテンツホルダーと連携し、今回開発したAI画像認識システムを活用した紙メディアとデジタルコンテンツの融合による新たなサービスの開発を推進する。本システムやそれを活用したサービスの提供により、五感に豊かな生活や健康な心の成長に寄与していく。
