本文へジャンプ

画像認識技術:カメラ間人物対応付け 東芝デジタルソリューションズ株式会社 ソフトウェア&AIテクノロジーセンター 知識・メディア処理技術開発部

画像認識技術:カメラ間人物対応付け 東芝デジタルソリューションズ株式会社 ソフトウェア&AIテクノロジーセンター 知識・メディア処理技術開発部

複数台カメラ間で人々を追跡し、高速な人物検索を実現

 近年、駅構内や、商業施設における防犯カメラの台数は増加の一途を辿っています。当初、防犯目的にのみ使用されていたカメラ映像は、高度な画像解析処理を通して、マーケティング分析や、混雑度の分析などの様々な応用が期待されています[1]。さらに、複数のカメラ映像を解析することにより、複合商業施設における顧客の行動分析など、様々な応用が可能になります。複数のカメラ間を移動する人物を分析するためには、異なるカメラで撮影された同一人物の対応付け技術(Person Re-Identification、以下Re-id技術)が重要となります(図1)(図1)
しかし、(1)カメラ毎に見え方が異なるため同一人物であっても対応付けることが難しい、(2)複数人物の対応付けを行う場合、考慮すべき組み合わせ数が膨大となり、処理時間が増大する、という二つの課題がありました。

 このような課題に対して、以下の三つの特長を持つ、高精度な対応付けを少ない計算量で実現する独自技術を開発しました[2]。第一の特長は、カメラ毎に異なる感度や色味、設置場所に大きく依存する外光条件、さらに、人物の様々な姿勢による見え方の違いを吸収し、同一人物を特定可能な独自特徴量です。人物間の識別に適した、輝度・色の情報量を増やすことで、周辺環境の変動に耐性のある特徴量抽出が可能になりました(図2)(図2)。また、人物画像を複数ブロックに分割してヒストグラム特徴とすることにより、人物の姿勢変動を吸収することが可能です。第二の特長は、複数の人物画像から1つの特徴量を抽出することによる計算量の削減です。カメラ毎に人物追跡することで得られた複数フレームの人物画像から1つの特徴量を抽出することで、フレーム毎に特徴量を抽出する従来技術に比べて精度を犠牲にすることなく、特徴量抽出にかかる時間の2.3倍の高速化(※1)を実現しました。第三の特長は、複数カメラ間で全体を考慮した対応付けによる高精度化と計算量の削減です。複数人物が全体で最適になるように同一人物を対応付ける手法を導入することで、従来技術と比較して、同一人物の判定にかかる時間の1300倍(※1)の高速化を実現しました(図3)(図3)

 本技術の応用例として、移動時間計測、迷子捜索、マーケティング調査が考えられます。移動時間計測では、異なる場所に設置されたカメラA、Bそれぞれに撮影された人物の対応付けを行うことにより、カメラAからBに移動するまでにかった時間を計測し、空港等で待ち時間の可視化が可能です。従来の移動時間計測では、例えば顔照合を用いた対応付けがありますが、本Re-id技術を用いれば、後ろ向き、横向きなど顔がよく見えていない人物でも移動時間を計測することが可能となります。また、Re-id技術と顔照合技術を組み合わせることで、迷子(特定人物)の探索と移動経路の可視化などにも活用が広がります。さらに、年齢、性別、服装などの様々な人物属性を組み合わせることによって、より詳細なマーケティング分析が実現可能です。

※1:当社調べ。

カメラ間人物対応付け技術(カメラ毎に見え方が異なるため同一人物であっても対応付けることが難しい。)

カメラ間人物対応付け技術のイメージ図

軽量な特徴量抽出(人物の識別に適した輝度・色情報と、人物を複数ブロックに分割するヒストグラム特徴を採用することで、周辺の環境変動と、人物の姿勢変動に耐性のある特徴量抽出を実現。)

軽量な特徴量抽出のイメージ図

同一人物の対応結果(本Re-id技術による、複数のカメラ間の人物の対応付け結果を示す。)

同一人物の対応結果のイメージ図

カメラ間人物対応付け技術(カメラ毎に見え方が異なるため同一人物であっても対応付けることが難しい。)

カメラ間人物対応付け技術のイメージ図

軽量な特徴量抽出(人物の識別に適した輝度・色情報と、人物を複数ブロックに分割するヒストグラム特徴を採用することで、周辺の環境変動と、人物の姿勢変動に耐性のある特徴量抽出を実現。)

軽量な特徴量抽出のイメージ図

同一人物の対応結果(本Re-id技術による、複数のカメラ間の人物の対応付け結果を示す。)

同一人物の対応結果のイメージ図