表情譜: タイミング構造に基づく表情の記述・生成・認識
表情譜: タイミング構造に基づく表情の記述
表情は，目や眉毛，頬や口などの運動が，時間的・空間的に複雑に組み合わさることで生成される．人はそのコミュニケーションにおいて，生得的・発達的に獲得した表情の変化パターンを利用することで，自分の心理状態を伝達することができ，その一方で，表情から相手の心理状態を読み取ることができる．
これまでの表情認識・生成研究では，主として生得的，特に感情に基づく基本的カテゴリ（喜び・驚き・恐怖・怒り・嫌悪・悲しみ・軽蔑）に表情を分類することが検討されてきた．しかし，実際の表情は，意図的に制御されて生成されるものや，感情などによって自発的に生起されるものがあり，これらが同時に混ざり合って表情が生まれることも多い．つまり，人は刻々と変化する相手の表情の微妙な動きを観察することで，基本的な感情カテゴリに比べてより粒度の細かな分類を行い，相手の内部状態を推定していると考えられる．
しかしながら従来の表情記述手法では，時間的な変化の構造を十分扱えないという問題がある．そこで本研究では，動的な変化である表情を，顔の構成要素（顔パーツ）それぞれの時間的な運動によって生じるものと考え，「表情譜」という新たな表情の記述方法を提案した．これは，各パーツの運動間に存在するタイミング構造を利用して表情を表現するものであり，意図的かつ粒度の細かな表情の認識・生成が可能となる (図1)．
図1. 表情譜を用いた表情認識・生成の流れ
映像を入力とする表情譜の自動採譜
タイミング構造とは，ある複数個の時区間がどのような時間関係で発生し終了するのかといった構造を表すものと定義する．また，時区間とは，線形システムの活性化で表現される，静止状態や収束性の運動の時間範囲とし，開始時刻，終了時刻，及び運動要素（モード）のラベルを属性として持つものとする．顔パーツの運動を，これら時区間を単位として表し，表情におけるタイミング構造を記述する表現形式を，音符と音符のタイミングの芸術である音楽を記述する楽譜に準えて「表情譜」と呼ぶことにする．各パーツの運動はハイブリッド・ダイナミカル・システム（こちらを参照）によってモデル化され，大量の顔映像データから学習する．また，学習によって得られた表情譜は，各顔パーツにおける運動要素の活性化パターンを表現しているため，ここから逆に，表情の運動を映像として生成することが可能である (図2)．
図2. 表情譜による映像生成
表情譜による表情記述の有効性
表情譜を用いる利点として，上述の表情生成だけでなく，従来は同じ表情とみなされていた表情を，より粒度の細かなタイプに分類ができることがある．これを実証するために，意図的な笑いと自発的な笑いにおけるタイミング構造を分析することで，2つの表情がどの程度分離されるかを解析した．その結果，笑いの開始時の，口・鼻・左目の顔パーツの運動開始タイミングやその持続時間が，両表情を分類する上で有効な特徴量となることが明らかになった(図3)．本研究で提案した，タイミング構造に基づく動的イベントのモデル化は，人の動作や視線による意図の推定，ロボットの行動制御といった応用につながると期待できる．
図3. タイミング構造の分析による表情の判別（被験者二名分の結果を例として示す）
参考文献
- [PDF] 平山高嗣, 川嶋宏彰, 西山正紘, 松山隆司, "表情譜: 顔パーツ間のタイミング構造に基づく表情の記述", ヒューマンインタフェース学会, Vol.9, No.2, pp.201-211, 2007.
- [PDF] 川嶋宏彰, 西山正紘, 松山隆司, "表情譜: タイミング構造に基づく表情の記述・生成・認識", FIT2005 (第4回情報科学技術フォーラム)情報科学技術レターズ, pp.153-156, 2005.(船井ベストペーパー賞)
- [PDF] Masahiro Nishiyama, Hiroaki Kawashima, Takatsugu Hirayama, and Takashi Matsuyama, "Facial Expression Representation based on Timing Structures in Faces", IEEE International Workshop on Analysis and Modeling of Faces and Gestures (W. Zhao et al. (Eds.): AMFG 2005, LNCS 3723), pp. 140-154, 2005.
- 西山正紘, 川嶋宏彰, 松山隆司, "表情譜: 顔パーツ間のタイミング構造の記述とその自動獲得", 情報処理学会研究報告 (2005-CVIM-149), Vol.2005, No.38, pp.179-186, 2005.(CVIM卒論セッション優秀賞)