博報堂、クロスモーダル知覚（五感の相互作用）を活用した映像による行動変容を検証する実証実験を開始

～東京大学鳴海准教授と共同で～　実験第2弾「ビールのおいしさを増幅させる音楽」の映像化

株式会社博報堂のプロジェクトチーム「Human X（ヒューマンクロス）」は、東京大学大学院情報理工学系研究科の鳴海拓志准教授と共同で、クロスモーダル知覚（五感の相互作用）を活用した映像に接触することにより、その場での行動にどのような影響を与えるかを検証する実証実験を本日より行いますのでお知らせいたします。
Human Xは、クロスモーダル知覚を企業のブランド体験開発に活用する実験活動「Human X Experiment（ヒューマンクロス エクスペリメント）」を開始し、生活をより豊かにする仕組みを感性的・科学的に開発する『〇〇×五感体験デザイン』の実験シリーズに鳴海准教授の監修のもと取り組んでいます。
今回第2弾として「おいしさ×視聴覚」に挑戦し、行動変容に関する実証実験を行います。

実験第2弾「おいしさ×視聴覚」
第１弾の実験で作成した「ビールのおいしさを増幅させる音楽」を映像化し、感覚間協応の特性を活用した視聴覚体験を開発しました。視覚と聴覚を活用して、​視覚と聴覚の感覚刺激を組み合わせることで、映像に触れると泡感、炭酸感、のどごし感などビールを飲んだ時の感覚を豊かに思い出させます。泡の大きさや動きなどビールの様々なテクスチャーを強調した映像は視聴覚が刺激される表現となっています。

映像コンテンツ「INTO BEER」の実証実験は、本日より10月３１日(月)までの期間、店頭デジタルサイネージメディア「FamilyMartVision」が設置されている全国のファミリーマート約3,000店舗で実施されます（一部地域・時間除く）。映像視聴による店舗内での感情変化や行動変容を検証し、今後の店舗体験の拡張可能性を検討します。

博報堂Human Xは、活動から得られたクロスモーダルナレッジを企業が持つブランドの“らしさ”と掛け合わせ、生活者の身体性や感情に着目したブランド開発や世界観構築、新たな体験創出、研究開発、新事業開発など企業のブランド変革支援に取り組んでまいります。

※注　本体験は20 歳以上の方を対象としています。

＜参考資料＞
■クロスモーダル（五感の相互作用）
揺れる風鈴を見てそこから出る音を聞くと、実際の気温は変わらなくても涼しく感じることがあります。また、かき氷の赤色はイチゴ味、緑色はメロン味といったようにさまざまな味を楽しめますが、実は多くのシロップは、色と香料が異なるだけで、味の元になっている材料は同じなのです。人は舌だけで味を感じているわけでも、肌だけで温度を感じているわけでもありません。５つの感覚が互いに交わり、相互に作用しながら、感覚は生まれています。このような感覚の仕組みは「クロスモーダル」（感覚間相互作用）と呼ばれ、ものづくりやサービスデザインにおいて、得られる感覚や体験そのものを自由に設計するためのヒントとして近年注目されています。揺れる風鈴を見てそこから出る音を聞くと、実際の気温は変わらなくても涼しく感じることがあります。また、かき氷の赤色はイチゴ味、緑色はメロン味といったようにさまざまな味を楽しめますが、実は多くのシロップは、色が異なるだけで、味の元になっている材料は同じなのです。人は舌だけで味を感じているわけでも、肌だけで温度を感じているわけでもありません。５つの感覚が互いに交わり、相互に作用しながら、感覚は生まれています。このような感覚の仕組みは「クロスモーダル」（感覚間相互作用）と呼ばれ、ものづくりやサービスデザインにおいて、得られる感覚や体験そのものを自由に設計するためのヒントとして近年注目されています。

■Human X（ヒューマンクロス）
ヒューマンクロスは、クロスモーダルやマルチモーダル技術を活用して、人間の感覚・知覚を拡張し、生活者の五感体験をデザインするプロジェクトチームです。生活者の身体や感覚の観点から科学的かつ感性的なアプローチで、生活をより豊かにする研究やプロダクト・サービス開発等を幅広く行っています。

■東京大学大学院情報理工学系研究科 鳴海拓志 准教授 プロフィール
2006 年東京大学工学部システム創成学科卒業。2008 年同大学大学院学際情報学府修了。2011 年同大学大学院工学系研究科博士課程修了。2011 年より同大学情報理工学系研究科知能機械情報学専攻助教。2016 年より同大学同専攻講師。2019 年より同大学同専攻准教授。現在に至る。博士（工学）。バーチャルリアリティや拡張現実感の技術と認知科学・心理学の知見を融合し、限られた感覚刺激提示で多様な五感を感じさせるためのクロスモーダルインタフェース、五感に働きかけることで人間の行動や認知、能力を変化させる人間拡張技術等の研究に取り組む。文部科学大臣表彰若手科学者賞、日本バーチャルリアリティ学会論文賞、グッドデザイン賞など、受賞多数。