かつてイギリスのコンピュータ科学者、アラン・チューリングが提唱したように、機械を知的であると判断するには、その機械が人間と区別の付かないほど他の人間とコミュニケーションが取れる条件が挙げられています。私の研究はまさにそういう機械の実現を夢見ています。そのために、人間同士の対面コミュニケーションとはどういう仕組みで成り立っているかを分析し、機械学習などを用いてその法則性を見つけて知的アニメーションキャラクタやロボットに取り入れます。言葉、そして，表情や身振り手振りを通じて人間と会話ができるようにします。また、こうした知的機械を開発することで、人間の知性とはどういうものかを探求していきたいと思っています。具体的な研究テーマは、言語・非言語の会話分析、機械学習によるモデル化、マルチモーダル対話システム、人間の感情・行動の計測・認識、人間・機械のインタラクションデザイン・分析・評価などが含まれています。
研究のキーワード：擬人化会話エージェント、ソーシャルロボティクス、マルチモーダルインタラクション、社会的信号処理、対話システム、機械学習、深層学習(ディープラーニング)、ヒューマンコンピュータインタラクション、 人工知能、ヒューマンインタフェース、コミュニケーション科学
研究事例
教師志望者の訓練のための仮想学級
日本の教師養成プログラムには、教育スキルを実践的に習得する機会が少ない。我々は教師志望者が練習することを可能にする仮想学級環境と仮想学生のプラットフォームを開発している。彼らへのフィードバックを仮想学生のグループから発生する、知覚可能な学級雰囲気の生成手法、言語、韻律、身振りを含むマルチモーダル特徴量と深層学習の手法を用いた教師の意図の自動検出や教育スキルの自動評価手法も提案している。
聴き手エージェント
社会生活が乏しい独居高齢者は認知症を患う可能性が高まることが分かっている。彼らのメンタルケアを提供するために我々は聞き上手のAI傾聴エージェントを開発している。対話実験で収集した高齢者と聴き手役の若者の映像データを基に、深層学習の手法を用いて聴き手の振る舞いの自動生成モデルを構築している。
グループディスカッション会話の理解
多くの企業が新入社員の採用面接においてグループディスカッション方式を利用している。応募者が如何に他人と協調しながら、タスクを達成するかは採用後の様子をある程度予測できるからだ。本プロジェクトは、大学生同士によるグループディスカッションの会話をビデオやモーションキャプチャーなどのセンサーで記録したデータコーパスを収集した。参加者の発話内容や音声、頭部の動きなどの非言語動作の特徴より、コミュニケーション能力、性格特性、機能的役割、重要発言….などの内部状態を機械学習を用いて自動推定する手法を開発している。
ロボットの動作生成
仮にグループディスカッションにロボットが参加する場合、ロボットはどのように振る舞えば他の参加者に自分は参加しているように感じてもらえるかの問題です。ここではグループディスカッションの実験で集めたデータを基に機械学習の手法を用いて他の三人の振る舞いからロボットの振る舞い(頷きと注視対象)を自動生成する手法を提案している。