留学生のためのAI表情解析システムを用いたコミュニケーション支援の試み

発表キーワード

留学生

AI

表情解析

外国人留学生にとって、文化圏の異なる人間と日本語で会話するのみでは言葉の裏側にある感情まで読み取ることは難しい。コミュニケーションは聴覚的なコミュニケーションだけでなく視覚的なコミュニケーションも重要だからである。しかしオンライン環境下ではジェスチャーによるコミュニケーション支援は難しい。そこで感情が表出される「顔」によるコミュニケーション支援を思い立った。オープンソースであるOpen VINOツールキットを活用して、リアルタイムまたは動画映像の「顔」から感情を判定して自動的に感情アイコンを表示するAI表情解析システムを構築した。当該システムを用いて、外国人留学生がアイコンから発話者の気持ちや発話内容が推測できるか支援を試みる。本発表はパイロット調査の報告にあたる。プロトタイプとなるAI表情解析システムの説明と、調査中に生じた感情判定に対する課題とその対応策について報告する。