落語の役柄交替における視覚的「間合い」の解析
視覚的「間合い」
円滑な話者交替の間合いは，音声という単一のモダリティだけではなく，話者の視線や口元の動きなどの視覚的手段をはじめとするさまざまなモダリティで表現されている可能性がある．そこで「身体動作のような視覚情報を相手に提示することによっても，音声発話と同様に自然な話者交替の間合いを表出できる」という仮説を立て，このような視覚的手段が実際に使われている具体例を探るために落語映像の解析を行った．
なぜ落語か?
実際の会話では，目的（議論，雑談など），実験状況，話者の性格などのさまざまな要因が影響するため，会話分析によって特徴的な構造を見出すことがしばしば困難である．一方，落語においては (1)演者の動作やタイミングが観客を楽しませるために設計・最適化されている，(2)１人で複数の役柄を演じ分けながら会話情景を表現している，といったことから，視覚的な「間合い」に特徴的な構造が観察されると期待できる．特に落語では，頭部を左右にふりむける動作によって役柄交替が表現される．そこで，先行役柄の発話終了時刻からこの頭部動作開始までの間合いが，同じく寄席演芸である漫才の二者間会話の間合いと比べ，どのような類似性があるかを調べた．
分析結果例
図1および図2の頻度分布は，それぞれ，落語における先行発話終了に対する頭部動作の開始タイミング，漫才における先行発話終了に対する後続話者の発話開始タイミングに関するものであるが，落語では，漫才における後続話者の発話と同様に「負の間合い」，すなわち先行発話に対してオーバラップする動作が積極的に用いられていることが分かる．また，現段階の分析データ数は十分ではないが，この間合いと発話内容（同意，非同意など）との間にも，落語と漫才で同様の傾向がみられ，落語では視覚的モダリティを積極的に用いることで，円滑な役柄交替やそのニュアンスを観客に伝えている可能性がある（図3,4）．そこで，伝送遅延等がある環境下でこの視覚的モダリティを用いて話者交替の支援を行う「Visual Filler」という手法を提案した．
図1. 先行発話終了から頭部動作開始（落語）
図2. ツッコミ役発話終了からボケ役発話開始（漫才）
図3. 落語における発話行為と頭部動作タイミングの関係
図4. 漫才における発話行為と発話タイミングの関係