NECは、行動のサンプルを数秒の映像として与えるだけで、ライブカメラの映像や映像アーカイブのなかから、類似の行動を容易に見つけ出す技術「オンデマンド行動検出」を開発した。同技術を活用することで、うずくまりや倒れこみなど、支援や介助が求められる行動／動作を、商業施設などに設置されたカメラの映像などからリアルタイムに検出し、施設の管理者がすみやかに現場に駆け付けたり、救急通報を行ったりすることが可能になる。
通常、特定の行動を映像から自動で検出するためには、検出したい行動が映った映像を大量に集めてAIに学習させるなどの準備が必要となる。一方で、こうしたAIの学習には時間がかかるため、従来は探したい行動をすぐに登録して検出することは技術的に困難だった。また、一つの行動にはさまざまなバリエーションが存在するため、行動を定義してAIに学習させること自体が困難であるという課題があった。
今回開発した同技術では、一般的な映像検索技術とは異なり、見つけたい行動を事前に定義してAIに学習させる手間が不要で、対象となる行動が映っている数秒の映像をサンプルとして与えるだけで、類似行動の検出が可能に。また、被写体の向きに関わらず類似の行動を見つけ出すことができるため、一つの行動を検出するために複数のサンプル映像を与える必要がないという。これにより、運用者の負担を軽減し、より実用性の高い行動検出サービスを実現できる。
同社は、今後、映像解析技術などを組み合わせた見守りソリューションや映像コンテンツ編集といった用途に向けて、同技術の実証実験を進めていく考え。
「オンデマンド行動検出」の特徴
同技術は、サンプル映像に映っている人物の骨格構造を推定し、その骨格の変化をライブカメラの映像や映像アーカイブ内の動作と比較することで、類似する行動を高精度に検出。これにより、次の特徴を有する。
数秒の映像を一つ与えるだけで、オンデマンドで行動を検出
サンプル映像を与えるだけですぐに類似行動の検出が可能なため、従来想定していなかった要支援行動を容易に追加し、検出することが可能。
また、同技術はさまざまな動作に対応でき、要支援行動だけではなく、昨今のコロナ対策で急速に関心が高まっている、アルコール消毒をする動作の把握にも応用できる。
被写体の向きや大きさが異なっても、類似の行動を検出
ボールを投げる動作を例にとると、従来技術ではカメラを背にしてボールを投げる映像をサンプルとして与えるだけでは、同じ向きの類似行動しか検出することはできない。しかし、同技術では、向きや大きさに依存しない特徴を取り出すことで、カメラに向かってボールを投げるなど、向きが異なる動作でも検出することを可能にした。これにより、人物とカメラの位置関係を固定化することが難しい場合でも、目的の行動を検出することができる。
ライブ映像からリアルタイムに行動を検出可能
画像そのもの（面）ではなく、画像から推定した骨格の形状（十数個の関節点）を基に行動を照合することで、従来技術よりも計算量を抑えることに成功。これによりライブカメラの映像から目的の行動をリアルタイムに検出したり、映像アーカイブから高速に検索したりすることが可能になった。
