• English
• Main Page
• Lab HP

• 全体概要
• Interaction Model
• Interaction Analysis
• Interaction Design
• 学位論文
• 発表文献リスト
• Topページ

Mind Probing: 能動的な働きかけと反応観察による人の内的状態推定

プロアクティブインタラクションにおけるMind Probing

「非明示的な指示」や「無意識レベルでの心的状態」の推定を，受動的に人の姿勢や動きを観察するような reactive interactionモデルの中で実現するのは非常に困難である．なぜなら，人の気持ちを微妙な身体的反応から読み取ることは非常に高度な処理であり，我々人間でもむずかしい．光トポグラフィやポリグラフを使って，生理的反応の計測から心的状態を推定することも考えられるが，日常生活環境での利用は容易ではない．そこで本研究では，システムが主導権を持ってインタラクションを行うproactive interactionモデルを導入する．具体的には，システム側から提示された情報の変化に対するユーザの反応を計測し，それに基づいてユーザの内的状態を推定する，「Mind Probing」という枠組みを提案した．さらに，図1のようなカメラ付情報提示ディスプレイを実際に構築し，Mind Probingの仕組みを導入することで，商品選択時におけるユーザの興味を推定しそれに応じて情報提示を行うシステムを開発した．

フェーズ分離のための提示デザイン

図2は，観察実験として，50型ディスプレイを上下・左右に4分割した領域のうち3つに提示された選択肢を見て好みのものを選択するタスクを被験者に課し，その際に各時刻においてどの選択肢を見ていたかを示した一例である．この視線の動きから，被験者は前半で解説文や画像を「読み込む」フェーズに，後半は「比較評価・選択」を行おうとしている吟味フェーズにあったと推測され，特にこの後半の視線の動きが，興味を強く反映したものであると考えられる．しかし，視線の滞留パターンは，提示情報のメディアや複雑さなどの要因にも強く影響される．したがって，単純にコンテンツを提示するだけでは，これら二つのフェーズを分離することは一般に困難である．そこで，まずこれらのフェーズを分離しやすいように選択肢を提示するプロービング（探りを入れる）デザインを行った．具体的には，情報提示の初期には各項目の情報を順次切り替えて表示し（順次提示モード），一通り表示し終えてからすべての項目を同時に表示（一覧提示モード）する提示方法を採用した（図3）．このとき，一覧提示モードにおける視線滞留時間をもとにユーザの興味を推定し，詳細な情報を提示していく．

眼球運動の反応タイミングに基づいた興味推定

さらに興味推定の精度向上のために，ユーザの反応タイミングに基づくプロービングデザインを行った．ここでキーとなるのは内因性サッカードと外因性サッカードの区別である（図4）．各商品コンテンツは複数のページからなり，システムはそれぞれのページ切り替えタイミングを制御できるものとする．このときシステムはまず，(1)ユーザが全体をざっと見渡すことができるよう，コンテンツを1つ表示し，短い時間間隔でページを切り替え，続いて，ディスプレイの別の位置に他のコンテンツを同様に表示する．これによって，心的状態が反映しない外因性サッカードを誘発させ，さらにはユーザの脳内に構築される認知地図に，コンテンツの空間情報を蓄積させることを狙う．その後，(2)これまでに提示したコンテンツを同じ場所に再び表示することでユーザを吟味フェーズへと誘導する．ただし，このときはユーザに興味のあるコンテンツを十分に読み取らせるために，(1)に比べてページ切り替えの時間間隔を長く設定する．これによって，サッカードは主に内因的に表出されることが期待できる．また，コンテンツ間のページ切り替えの順番は，ユーザに予想させないためにランダムとする．ユーザは，認知地図を参照することで，興味があるコンテンツのページ切り替えに注意が払える．

このとき，吟味フェーズにおけるコンテンツのページ切り替えイベントと内因性サッカードの発生イベント間のタイミング構造に注目する（図5）．心的状態に応じて人の表出する視線ダイナミクスは（ユーザが意図せず）異なってくると考えられるが，特に今回は，ユーザの興味が視線の反応遅延に反映されるという仮説を立てた．

コンテンツ選択を行う被験者実験を行ったところ，興味があるコンテンツを注視している場合に，他のコンテンツのページ切り替えへの反応が遅れる傾向があることが確認された．この反応遅延に基づいて，最も興味のあるコンテンツを推定したところ，従来研究で用いられている注視時間や注視頻度による推定（それぞれ35%および20%）より高い精度（55%）が得られた．注視時間や注視頻度に基づく推定は，情報提示時間を十分に長くとれ，見比べの注視行動が頻繁に起こる際に良い精度が得られると考えられる．しかし本研究で提案するMind Probingの枠組みでは，短時間でユーザの興味を推定し，推定結果に基づいて情報提示・推薦を行うというループをデザインできるため，デジタルサイネージやテレビ視聴といった実際の応用に適していると考えられる．

参考文献

1. [PDF] Takatsugu Hirayama, Jean-Baptiste Dodane, Hiroaki Kawashima and Takashi Matsuyama, "Estimates of User Interest Using Timing Structures between Proactive Content-display Updates and Eye Movements", IEICE Trans.Information and Systems, Vol.E93-D, No.6, pp.1470-1478, 2010.
2. Jean-Baptiste Dodane, Takatsugu Hirayama, Hiroaki Kawashima, Takashi Matsuyama, "Estimation of User Interest using Time Delay Features between Proactive Content Presentation and Eye Movements", International Conference on Affective Computing & Intelligent Interaction, 2009.
3. Akihiro Kobayashi, Jyunji Satake, Takatsugu Hirayama, Hiroaki Kawashima, Takashi Matsuyama, "Person-Independent Face Tracking Based on Dynamic AAM Selection", IEEE International Conference on Automatic Face and Gesture Recognition (FG), 2008.
4. 平山高嗣, Jean-Baptiste Dodane, 川嶋宏彰, 松山隆司, "能動的な情報提示に対する眼球運動の反応遅延に基づいた興味推定", 情報処理学会創立50周年記念(第72回)全国大会, No.5, pp.19-20, 2010.
5. 佐竹純二, 小林亮博, 平山高嗣, 川嶋宏彰, 松山隆司, "高解像度撮影における実時間視線推定の高精度化", 電子情報通信学会研究会(PRMU2007-238), Vol.107, No.491, pp.137-142, 2008.2.
6. 小林亮博, 佐竹純二, 平山高嗣, 川嶋宏彰, 松山隆司, "AAMの動的選択に基づく不特定人物の顔追跡", 情報処理学会研究報告 (CVIM-161), pp.35-40, 2008.
7. 水口充, 浅野哲, 佐竹純二, 小林亮博, 平山高嗣, 川嶋宏彰, 小嶋秀樹, 松山隆司, "Mind Probing: システムの積極的な働きかけによる視線パタンからの興味推定", 情報処理学会 ヒューマンコンピュータインタラクション研究会(SIGHCI), pp.1-8, 2007.
8. 佐竹純二, 小林亮博, 川嶋宏彰, 平山高嗣, 水口充, 小嶋秀樹, 松山隆司, "インタラクティブな情報提示システムのための非装着・非拘束な視線推定", 情報処理学会 ヒューマンコンピュータインタラクション研究会(SIGHCI), pp.9-16, 2007.