喫食中の顔表情からの感情推定結果を発表「パリパリッのチョコモナカジャンボはポジティブ感情をもたらす可能性！」～埼玉大学綿貫啓一教授と共同研究、第19回日本感性工学会春季大会で発表～

　森永製菓株式会社(東京都港区芝、代表取締役社長・太田 栄二郎)は、お菓子ならではの、おいしさや楽しさといった情緒的価値を様々な手法で解明し、付加価値の高い商品の開発・提供につなげていく取組みを行っています。
“みんなが笑顔になれるアイス”を目指し、「パリパリッ」の食感やおいしさを長年にわたり追求している「チョコモナカジャンボ」について、喫食中の表情から感情を推定することができれば、チョコモナカジャンボの魅力を深掘りしてさらなる改良につなげられるのではないか、という仮説のもと研究を行いました。喫食中の顔表情をAI解析し、感情を推定した結果、「パリパリッ」のチョコモナカジャンボの喫食中はポジティブな感情になっている可能性が示唆されました。本研究は、埼玉大学大学院理工学研究科の綿貫啓一教授との共同研究で、2024年3月7・8日に開催された第19回日本感性工学会春季大会で発表いたしました。また、AI解析は株式会社Preferred Networks(東京都千代田区大手町、代表取締役 最高経営責任者・西川 徹)の協力のもと行いました。

＜研究背景と目的＞

　顔表情は、潜在的な感情や些細な心の動きを反映しており、ヒトは顔から受発信される心理情報を察知し、対面コミュニケーションを円滑に行っています。顔表情からの感情推定において、顔表情の部位別の動き（アクションユニット）の組合せが基本的な感情と対応するというFACS理論が提唱[1]されていますが、喫食中の顔表情は咀嚼の影響などにより感情推定が難しく、表情解析から感情を推定した研究報告は多くありません。今回の研究では、モナカの食感がパリパリのチョコモナカジャンボ（以下、パリパリジャンボ）と、水分量を調整しモナカの食感がしなしなしているチョコモナカジャンボ（以下、しなしなジャンボ）を喫食した際の顔表情をAIモデルにより解析し、食感の違いがもたらす感情への影響を検証しました。

[1] Ekman, E., et al.: Facial Action Coding System: The Manual on CD ROM. Salt Lake City: A Human Face, 2002

 

＜研究手法＞

　被験者にはあらかじめ、ポジティブ感情・ネガティブ感情を想起することが報告されているビデオを視聴してもらい、そのときの顔表情を録画しました。AIモデルにビデオ視聴中の顔表情のランドマーク（顔の中の見つけやすいポイントの位置情報）やアクションユニットを学習させ、顔表情と感情の関係性をモデル化しました。その後、パリパリジャンボ・しなしなジャンボを食べているときの顔表情をモデルに入力し、ジャンボ喫食中の感情を予測しました（図1）。

＜研究結果と今後＞

　パリパリジャンボ喫食中の顔表情は、しなしなジャンボ喫食中の顔表情と比較して、目元や口元の動きからポジティブな感情になっている可能性が示唆されました。予測精度に関しては、非常に高い精度で感情推定が可能な被験者がいる一方で、顔表情にクセがある、または顔表情の変化が少ない被験者においては予測精度が低い傾向がありました。本研究では被験者の年齢、性別、アイスクリームの食経験や嗜好性の影響など未解明な点も多いため、今後、更なる研究を行っていきます。

＜埼玉大学綿貫教授コメント＞

私たちは、美味しいものを食べた時には、自然と顔表情にも変化が表れることがあります。人が無意識のうちに僅かに変化する顔表情を観察し、心理を理解することは重要です。人間工学的知見に基づき、顔の筋肉に対応付けた部位の時間的変化を示すアクションユニット強度とランドマーク間距離を関連付け、多様な状態より特徴量を抽出するための機械学習をもとに、感情分類のための機械学習モデルを構築し、喫食中の顔表情からポジティブ感情やネガティブ感情を推定できる可能性を知見とすることができたことは非常に興味深いことです。この研究成果が“みんなが笑顔になれるアイス”のための心と体に関する科学的なエビデンスとなり、今後さらに付加価値・感性価値の高い複合冷凍菓子の開発に役立つことを期待しております。                        

※綿貫啓一教授の経歴

1991年東京工業大学大学院総合理工学研究科博士後期課程修了、工学博士。埼玉大学工学部に着任後、助手、講師、助教授、教授を経て、アンビエント・モビリティ・インターフェイス研究センター長、オープンイノベーションセンター長、大学院理工学研究科戦略的研究部門感性認知支援領域長を歴任し、現在、埼玉大学大学院理工学研究科人間支援・生産科学部門教授、大学院理工学研究科機械科学系専攻メカノロボット工学コース長、戦略研究センター健康科学研究領域長、研究機構副機構長、先端産業国際ラボラトリー所長、社会変革研究センター長。ヒューマンインターフェイス、脳科学、人工知能、ヘルスケア、医工連携などの教育・研究に従事し、数多くの論文、講演、受賞歴があるとともに、先端産業国際ラボラトリーにて、数多くの企業、大学、自治体と研究開発、人材育成、製品化、事業化、標準化などの産学官金連携の事業に従事。

＜森永製菓グループの新たな取り組み＞

当社グループでは、長期経営計画において『2030年にウェルネスカンパニーへ生まれ変わります。』と定めました。「ウェルネス」とは、「いきいきとした心・体・環境を基盤にして、豊かで輝く人生を追求・実現している状態」と定義し、顧客・従業員・社会に、心の健康、体の健康、環境の健康の３つの価値を提供し続ける企業になることを目指しています。その一環として、「心の健康」に寄与する菓子食品のおいしさや楽しさといった情緒的価値を様々な手法で解明し、付加価値の高い商品の開発・提供につなげていく取組みを行っています。