バイタルデータを解析し心地よいコミュニケーションの創造を目指す共同研究プロジェクト「気持センシングラボ」に参画　表情を判別し人のコンディションを解析

当社（本社：東京都港区、代表取締役会長CEO：松浦勝人）は、株式会社大広（本社：大阪府大阪市北区、代表取締役社長：落合寛司、以下：大広）、SOOTH株式会社（本社：東京都港区、代表取締役：額田康利、以下：SOOTH）、株式会社ヒトクセ（本社：東京都新宿区、CEO：宮崎航、以下：ヒトクセ）、株式会社ビデオリサーチ（本社：東京都千代田区、代表取締役社長：加藤讓、以下：ビデオリサーチ）、ソネット・メディア・ネットワークス株式会社（本社：東京都品川区、社長：石井隆一、以下：SMN）の共同研究プロジェクト「気持センシングラボ」に参画しました。
 

「気持センシングラボ」は、生活者にとっての心地よいコミュニケーションを創造していくため、テクノロジーを活用して生活者理解を深めることを目的に昨夏発足したプロジェクトです。第1弾として「動画」領域での研究をスタートさせ、プロジェクト全体のプロデュースを大広が担当。脳波や視線などのバイタルデータのセンシングおよび分析・評価を行うSOOTH、独自保有する生活者セグメント「ひとセグ」を活用した高度な分析を行うビデオリサーチ、独自のトラッキング技術を活用した動画配信時のユーザー行動分析を行うヒトクセ、ユーザーインサイトの抽出や動画視聴完了による生活者行動の分析・評価を行うSMNと共に取り組んでおります。

今回、当社は独自に開発した人の顔の表情を解析するシステム「来場者分析システム」を用いて、表情解析を担当。表情を判別して、人がどのようなコンディションであるか解析します。「来場者分析システム」とは、AIで会場内に設置したカメラで来場者の顔を検知し、ライヴの盛り上がりや演奏されている楽曲と、感情との関連性を分析・数値化するものです。本システムでは同時に大人数の解析ができるため、被験者の数を増やしやすく、かつ安価に実現することが可能です。当社の参画により、脳波や視線などのバイタルデータ（生体情報）の分析データと、表情による感情の解析データを掛け合わせることが可能になり、ラボ内の新たなデータ軸が増えるだけでなく、調査規模やユースケースの拡大にも貢献できると考えております。


「来場者分析システム」とは
より満足度の高いライヴ・イベントの実現に向けて、マイクロソフトのAIサービス「Microsoft Cognitive Services」を活用して当社が独自開発した、ライヴ来場者分析システム。
AIで会場内に設置したカメラで来場者の顔を検知し、ライヴの盛り上がりや演奏されている楽曲と、「怒り」「軽蔑」「嫌悪感」「恐怖」「喜び」「中立」「悲しみ」「驚き」の感情との関連性を分析・数値化するものです。
従来、ライヴ・イベントの客観的な評価は、定性的な指標によるものでしたが、来場者の反応を数値化することで、定量的な効果測定の難しいエンタテインメントの客観的な評価が可能になり、イベントの質や満足度の向上に繋がります。

東京・日本橋三井ホールCOREDO室町で2019年1月29日（火）～3月3日（日）の期間開催された『FLOWERS BY NAKED 2019－東京・日本橋－』では、「来場者分析システム」を活用したプロトタイプ「HUMANOID DJ project -ANHD零号機」を導入。会場にいる観客の表情から、AIにより性別、年代や感情の起伏を解析し、会場の音楽をコントロールすることで、会場内にいる人たちの属性や感情と音楽がリンクした空間を演出しました。


「気持センシングラボ」とは

生活者にとっての心地よいコミュニケーションを創造していくため、テクノロジーを活用して生活者理解を深めることを目的に昨夏発足したプロジェクト。参画しているそれぞれの会社の得意領域を持ち寄ることでシナジーを発揮し、制作・配信・運用という3つの視点で、デジタル時代における動画視聴より生まれた「気持」が生活者の行動に対しどのような影響を与えるかを企業の具体的なマーケティング課題に照らし合わせ、実験・研究し、最適なソリューションを考えています。
今後は、対象を動画以外にも拡大し、様々なコミュニケーションを通して「もたらされた体験」が、その後の生活者行動にどのように結びついたかをトラッキング・分析・評価し、それを基に生活者の感情変化に適したコミュニケーション施策の立案を目指します。