連続状態モデル間の相互作用に基づく多視点動作認識
動的な情報統合
実世界の多様に変化する環境下では，対象に遮蔽やノイズなどの変動が生じ，観測データがしばしば不完全となる．このとき，複数のセンサから得られる観測データを統合して用いることで，不足する情報を補完しながら，ジェスチャーなどの動的イベントを識別する情報統合型のモデルが考えられる．しかし，これまでに提案されているモデルでは，少なくとも1つのセンサからは識別に必要な観測データが常に得られることを条件としており，実環境での安定した認識が困難であるという問題がある．例えば，雑音環境下で映像を補助的に用いながら音声認識を行っている際に，カメラの前を人が横切ったような場合，遮蔽による映像情報の一時的な欠落が，最終的なシステム全体の認識精度にしばしば大きな影響を与える．したがって，観測データ間で識別に必要な情報を互いに補うとともに，不要な情報や識別器を一時的に抑制するといった「動的な」情報統合の枠組みが，識別精度の向上には不可欠となる．
自律ダイナミクスシステムの相互作用に基づく統合型動作認識
そこで本研究では，各時系列パターンの識別を個々に行うことのできる認識モジュールをそれぞれ用意し，そうしたモジュール間の相互作用に基づいて，重要な観測データに動的にフォーカシングを行いながらイベント認識を行う，統合型システムアーキテクチャを提案した(図1)．各認識モジュールへの入力は，異なるセンサ（複数カメラ，マイクなど）から得られるマルチモーダルな観測データや，異なる特徴量（部分画像，シルエットやフロー）からなる時系列データである．各認識モジュールとしては，連続空間中で状態遷移を行うことが可能なContinuous State Machine（CSM）を提案し，これを用いた．外部からの入力の変化が，予め学習されたCSM 内部のダイナミクスと同様の変化である場合には，システムの内部状態が，特定のアトラクタに沿って引き込まれる．すなわちCSMは「共鳴・同期」に基づいた動的イベントの認識を行うモデルである．この共鳴による状態の振る舞いを見ることで，入力パターンの識別結果を得ることができる．また，この共鳴の強さに基づいて，そのモジュールの持つ信頼度，すなわち，識別にとってどの程度重要な情報を持つのかを測ることが可能となる．そこで，複数モジュールの統合法として，信頼度の高いモジュールが，情報の不足したモジュールの状態を推定・伝達し，相互作用を行う手法を実現した．
多視点動作認識による検証
提案したアーキテクチャを，不完全な入力データに対する認識の頑健性の観点から検証するために，正面および側面の2視点カメラによる手話の識別を試みた．2つのカメラから得られた特徴系列を，それぞれ異なるモジュールへの入力とした．このとき，図2 (a)のように，人工的な遮蔽を各視点に交互に加えることで，いずれのモジュールも，識別にとって十分な情報を持たないような状況を設定した．その結果，単一のモジュールで識別を行う場合に比べて，モジュールの統合時には高い認識率が得られた．このように，提案アーキテクチャは信頼性の低いモジュールを動的に抑制し，識別に重要なモジュールの影響力を高めることが可能であるという特長を持つ．
図1. 相互作用する自律システム
図2. 認識時の入力および各システムの影響力変化
参考文献
- [PDF]川嶋宏彰, 松山隆司: "連続状態モデル間の相互作用に基づく多視点動作認識", 電子情報通信学会論文誌, Vol.J85-D-II No.12, pp.1801-1812, 2002.
- [PDF]松山隆司, 杉本晃宏, 佐藤洋一, 川嶋宏彰: "人間と共生する情報システムの実現を目指して", 人工知能学会誌, Vol.19, No.2, pp.257-266, 2004.
- [PDF]Hiroaki Kawashima, Takashi Matsuyama: "Integrated Event Recognition from Multiple Sources", 16th International Conference on Pattern Recognition (ICPR), Vol.2, pp785-789, 2002.