肌の画像解析における顔の特徴を正確に捉えるＡＩ技術を開発

「ホームケア＋サロンケア」を特徴とする化粧品メーカーの㈱シーボン（東証一部上場、以下シーボン.）では、
シーボン.フェイシャリストサロン※1等にて独自の肌カウンセリングシステム（ビューティログアドバイスナビゲーター® ※2)を展開し、顔全体の画像解析を行っています。さらなる画像解析の精度向上と効率化を図るため、
眉・目・鼻・口の位置を正確に捉えるＡＩ技術を慶應義塾大学と共同で開発しました。

研究背景・目的

「エピスキャン」で撮影した画像を解析しカウンセリングを行う

2018年より、全国のシーボン.フェイシャリストサロンに独自の肌カウンセリングシステム「ビューティログアドバイスナビゲーター®※2 」を導入。オリジナルの肌撮影機「EPISCAN/エピスキャン」を使用した顔全体の画像解析技術を構築。顔全体の画像解析を行うことで、肉眼では見えにくい肌トラブルを発見し、お客様の肌状態を定量的に評価。現在の肌状態のケアだけでなく、今後起こりうる肌トラブルを未然に防ぐため、化粧品やお手入れ方法を提案しています。
画像解析を行うためには、画像内の顔のパーツ（眉・目・鼻・口）の位置を正確に捉える必要があり、現在はこの作業をフェイシャリスト®※3が手動で行っています。（画像内の目頭、目尻等の指定の位置に印をつける作業。この印を特徴点と呼ぶ。）
そのため、操作する人の手によって位置の微妙な誤差が生じることがありました。そこで、さらなる解析精度向上を目指し、慶應義塾大学理工学研究科と共同で研究を行った結果、このたびＡＩ技術を用いた特徴点抽出の自動化に成功しました。

研究成果
下記手順で画像処理を行うことで、正面及び横顔の特徴点抽出アルゴリズムを明確化し、精度評価を行うことができました。

①画像内の顔の各パーツ（眉、目、鼻、口）が含まれる領域の探索
②各パーツの基準点を設定し、その基準点座標をもとに各パーツの領域を決定
③各パーツ領域内で特徴点座標を決定
また、特徴点抽出の処理速度は1画像につき1秒以内と高速に抽出することができました。（正面画像の場合、10点の特徴点を1秒以内に抽出できました。）

本技術は、今後シーボン.フェイシャリストサロン等で提供しているビューティログアドバイスナビゲーター®※2への導入を予定しています。
特徴点自動化の技術導入により、解析精度の向上のみならず、解析の効率化及びより正確なカウンセリングの提供により、さらなるお客様満足度向上を目指してまいります。

※1　シーボン.フェイシャリストサロン・・・化粧品を販売し、購入金額に応じて、アフターサービスを提供する会員制サロン　店舗数は、直営105店舗、代理店4店舗（2020年3月11日時点）
※2　ビューティログアドバイスナビゲーター®・・・ビューティログアドバイスナビゲーターは、株式会社シーボンの登録商標です。
※3　フェイシャリスト® ・・・フェイシャリストは株式会社シーボンの登録商標です。シーボン.フェイシャリストサロンで、シーボン.の化粧品を販売し、使い方の指導をはじめ、美容アドバイス、フェイシャルマッサージなどを行う専門スタッフの名称。お客様のお肌が美しく輝くようにきめ細やかにサポートしています。

本案件は、「DIA ※42020（動的画像処理実利用化ワークショップ2020）」 （2020年3月9日（月）10日（火） ＠沖縄）にて発表予定でしたが、新型コロナウイルス（COVID-19）感染拡大の影響により開催が中止となりました。 ※4　DIA（Dynamic Image processing for real Application）・・・マシンビジョン/コンピュータビジョン分野における画像処理の実利用に関わる研究・開発の発表、討議、情報交換の場として、毎年日本各地で開催されています。

 

肌カウンセリングシステム「ビューティログアドバイスナビゲーター®」

シーボン.フェイシャリストサロン等では、肌カウンセリングシステム「ビューティログアドバイスナビゲーター®」を導入しています。肌撮影機「EPISCAN/エピスキャン」やアップカメラを使って、肌状態を客観的にチェックし、パーソナルデータとして継続的に保存。継続して肌データを確認することで、今後起こりうる肌トラブルを未然に防ぎあらゆる角度からお客様一人ひとりに合わせた化粧品やスキンケアを提案するためのシステムです。お手入れ前後の肌変化や過去のデータとの比較をご自身の目でご確認いただけます。

 

肌投影機 「EPISCANエピスキャン」

●肌撮影機「エピスキャン」では、肌悩みを映し出す3種類の画像（モノクロ、ホワイト、ブルー）を確認でき、肉眼では見えにくい肌トラブルを発見することができる。
●エピスキャンで撮影したホワイト画像を使って、しわ（目尻）・シミ・毛穴・明るさの画像解析を行う。数値化して定量的に肌状態を確認できる。
●解析結果をもとに毛穴・シミ（色素沈着）・シワの色の濃淡に強弱をつけたイメージ画像（シミュレーション画像）を作成。印象の変化をシミュレーションすることができる。
●アップカメラは肌表面を拡大して、毛穴や赤み・シミ（色素沈着）などの状態を確認できる。
●肌のキメのレプリカは乾燥や毛穴の状態などの情報を読み取り、肌質や肌状態を見極める。

※ 「ビューティログアドバイスナビゲーター」、「フェイシャリスト」は株式会社シーボンの登録商標です。

シーボン.について
シーボン.は、「美を創造し、演出する」という理念に基づき、「お客様の肌に最後まで責任を持つ」という想いから、化粧品の研究開発・製造・販売・サービスまで一貫して自社で行っている創業55年目の化粧品メーカーです。会員制のシーボン．フェイシャリストサロン※を中心に化粧品を販売し、購入金額に応じて、東洋式美顔マッサージなどのアフターサービスを提供する「ホームケア＋サロンケア」の独自のビューティシステムを採用しています。
※　店舗数：直営105店舗、代理店4店舗 （2020年3月11日時点）