高速プロジェクションマッピング技術と色補正技術を活用した実際の顔で体験できるメイクシミュレーションシステムを開発　～メイクシミュレーター「COLOR MACHINE」に応用～

　株式会社コーセー（本社：東京都中央区、代表取締役社長：小林 一俊）は、東京工業大学 渡辺義浩研究室が保有する最先端の高速プロジェクションマッピング技術と、当社で開発した、肌の反射特性から適切な色を投影できる色補正技術を組み合わせることで、実際の顔で体験できるリアルなメイクシミュレーションシステムを開発しました（図1）。当システムは2022年8月17日からコンセプトストアMaison KOSÉ銀座にて“ビューティアトラクション”として展開しているメイクシミュレーター「COLOR MACHINE」（※1）に応用されています。なお、「COLOR MACHINE」は2023年1月開催の世界最大級のテクノロジー見本市CES 2023に出展されます。
（※1）2022年8月17日発行ニュースリリース　
　https://www.kose.co.jp/company/ja/content/uploads/2022/08/20220817.pdf

　　　　　　　　　　図1　「COLOR MACHINE」のキー技術と色補正技術の効果検証

• 研究の概要

　当社では一人ひとりがもつ多様な美しさを大切にしており、カラーメイクにおいてもお客さまごとに異なるニーズに合わせた価値提供を目指しています。一方で数多くのメイク商品の中から、自身に似合うものを選び出すことは容易ではありません。そこでお客さまが選ぶ過程を楽しみながら、より納得して自分に合った商品を選択できるサービスの開発を目指しました。
　既存のメイク選択を補助するツールとしてはスマートフォンなどのデジタル機器で動作するメイクシミュレーターが広く知られていますが、本研究ではより実際の顔を使ったよりリアルなメイク体験を生み出せないかという着想から、プロジェクションマッピング技術に着目しました。メイクでは目や口といった表情による動きが大きい部分への投影が不可欠であるため、それらに対応できる高速投影技術を有する東京工業大学　渡辺義浩研究室との共同研究を実施しました。さらに、狙った色をメイクとして反映させるために、当社にて肌の光反射特性を踏まえた色補正技術を開発しました。これらを組み合わせることで、動きのある顔上でも実際に化粧をしているような自然な仕上がりを実現できる没入感のあるメイクシミュレーターの開発に成功しました。

• 動く顔にも追従できる高速プロジェクションマッピング技術

　人の目は約100分の１秒のずれを見分けると言われているため、人の顔の動きに高速で追従するシステムが必要でした。東京工業大学　渡辺義浩研究室の有する高速追従の技術をメイクでの応用に最適化すべく、共同研究により、顔の表情を高速に認識する技術と、表情に応じたメイク映像を瞬時に生成するグラフィックス技術の改良を行いました。さらに、高速な映像投影を実現すべく、1秒に1000回もの映像を更新できる特殊なプロジェクター（※2）を採用することで、顔の動きにぴったりと追従する自然なメイク投影を実現しました。また、追従性を高めたことでメイクがずれて目に強い光が入ることがなくなり、まぶしさを感じることなくメイクを楽しむことができるようになりました。
（※2）東京大学 情報理工学系研究科 石川グループ研究室、東京工業大学 渡辺義浩研究室、株式会社リコー、東京エレクトロンデバイスによる開発品

• 狙った色をメイクとして反映させる色補正技術

　人の肌には赤～オレンジ色の光を反射しやすく、青～紫色の光を吸収しやすいという反射特性があります。そのため、プロジェクターからメイクの測色値をそのまま投影しても実際のメイクと色がずれてしまうという課題がありました。そこで、プロジェクターの光学的な特性を精緻に計測し、投影した色とそれが肌で反射して実際に目に見える色の関係を解析することで、独自の色補正式を構築しました。これにより、補正なしの場合と比較して大幅に実際のメイクの印象と近づけることに成功しました（図1）。

• 「COLOR MACHINE」への応用と体験者の反応

　上記の技術を組み合わせることで、動きのある顔上で自然なメイクを短時間でいくつも試すことのできるメイクシミュレーター「COLOR MACHINE」を完成させました。こちらは2022年8月17日からコンセプトストアMaison KOSÉ銀座にて“ビューティアトラクション”として展開しており、これまで実際に体験したお客さまからは高い評価を得ています。10月集計時点までに体験した119名を対象としたアンケートでは、10点満点中で満足度が平均9.8点（9点以上が94%）、自然さが平均9.3点（9点以上が80%）となっており（図2）、メイクアップ商品を選ぶ過程を楽しんでいただけていることや、違和感のない自然なメイクが再現できていることが裏付けられました。

　　　　　　　　　　　　図2　「COLOR MACHINE」の体験者アンケート結果

• 今後の展望

　本技術を体験型のアトラクションに応用することで、お客さまにメイク商品を選ぶ楽しさや一人ひとりに合わせた様々なメイク体験が提供でき、その体験をお客さま同士やビューティコンサルタントと共有し、複数人で同時に楽しむという新たな価値も見出すことができました。
　今後はメイクレッスンや店頭でのタッチアップ、イベントなどへの応用も検討していきます。引き続き、世界中のお客さまの“一人ひとりのきれい”に寄り添った製品・サービスの開発に取り組んでいきます。

• 参考：CES2023プロモーション動画

https://youtu.be/W4QGp36d06c