ヒトの感性も学習した独自肌評価AI「Kirei肌AI」を開発評価の難しい肌のつや感の特徴も精緻に表現

花王株式会社（社長・長谷部佳宏）メイクアップ研究所は、人工知能（AI）技術のひとつである深層学習を用いて多様で繊細な肌の質感を評価・可視化する「肌評価AI」に、さらにヒトの感性を学習させ、肌の精緻な解析とヒトの視点・判断をあわせ持つ「Kirei肌AI」を開発しました。
今回の研究成果の一部は、日本視覚学会2021年夏季大会（2021年9月22～24日・オンライン開催）にて発表しました。

■背景
　ヒトは肌の色・質感のわずかな違いからさまざまな情報を読み取り、印象の変化を感じ取っています。花王は2021年1月に、多様で繊細な肌の質感を評価・可視化する「肌評価AI」を開発したことを報告しました※1。この技術は、顔画像から切り出した小領域肌画像“肌パッチ”をAI技術のひとつである深層学習（ディープラーニング）で学習することを特徴としており、「素肌と化粧肌」「化粧直後と時間が経った後」など、さまざまな肌状態のわずかな質感の違いを識別することが可能です。しかし一方で、メイクアップしたときの肌の印象を的確に評価するためには、“その肌を見て、ヒトはどう感じるか”というヒトの視点の学習が必要ではないかと考えました。
　例えば、ヒトの視点が非常に重要な肌質感のひとつとして、“つや”があります。“つや”は、表面の光沢をあらわす言葉ですが、肌においては、好ましくない光沢は“テカリ”とされ、美しい光沢であるつやと区別されます。マットな肌、化粧くずれでテカリのある肌、なめらかで美しいつや肌を比べた際(図1)、過去に開発したAIではテカリのある肌を「光沢が強い」という評価しかできませんでした。「つやではない」と判断できるのは、肌の印象を的確に捉えられるヒトの目の特徴です。

　花王には、目視評価の訓練を積んだ「専門判定者」が肌の色、つや、肌トラブルなどを評価する仕組みがあり、図１のような肌を正確に評価可能です。そこで今回、既存の「肌評価AI」にヒトの感性そのものである「専門判定者の判断」を学習させることで、肌の精緻な解析とヒトの視点・判断をあわせ持つAIの開発を試みました。
※1　2021年１月22日　花王ニュースリリース　多様で繊細な肌の質感を評価・可視化する「肌評価AI」を開発
https://www.kao.com/jp/corporate/news/rd/2021/20210122-001/

■専門判定者の肌評価を学習したAI
　専門判定者の目視評価を予測できるAIの構築をめざし、専門判定者が評価できる項目のうち「つや」「透明感」「肌表面のなめらかさ」など肌の色・質感に関する10項目をAIに学習させました。学習には、20～39歳の日本人女性83名の顔画像から切り出された肌パッチ画像群9,306枚、およびその画像に対する専門判定者の目視評価結果を使用。その結果、専門判定者の目視評価項目10項目を、相関係数0.7前後の精度で予測可能なAIの構築に成功しました。
　この検討により、既存の「肌評価AI」にヒトの感性が反映された10の目視評価が加わり、計16項目の肌印象評価が可能な「Kirei肌AI」が誕生しました。（図2）

■評価が難しい“つや”の特徴を精緻に捉えることが可能に
　今回開発した「Kirei肌AI」は、専門判定者のつや評価（以下、「視覚的つや」）の基準に則り、機器では客観的に評価することが難しかった肌のつや感を高い精度で予測することが可能です。
　花王はさらに、この「視覚的つや」指標と、既存の肌評価AIが評価するつや・光沢に関連するその他の指標を同時に出力することで、つやの多面性をとらえることができるのではないかと考えました。そこで、日本人女性266名のメイク塗布前後の顔画像1,596枚を用いて、「視覚的つや」とつや・光沢と関連すると考えられる3つの評価項目についてAIで評価を行ない、評価項目間の関係を確認しました。

①    化粧くずれ度　　　
　　　ファンデーション塗布直後と時間経過後のどちらに近いか。テカリと強く関係
②    Powderly/Glossy
　　　パウダー・リキッドファンデーションのどちらを塗布した肌に近いか
③    Dry/Wet        
　　　乾燥した素肌とスキンケア後の濡れた肌のどちらに近いか

　その結果、「視覚的つや」は「化粧くずれ度」と負の相関を示し、「Powderly/Glossy」とやや強い正の相関を示しました。「Powderly/Glossy」と「Dry/Wet」は強く相関しましたが、「Dry/Wet」は「視覚的つや」との相関が高くありませんでした（表1）。

　これらの結果から、AIは、専門判定者が“つや”と“テカリ”を明確に区別し、メイクアップによるつや仕上がりのような美しいつやを「視覚的つや」と評価していることを的確に学習したと考えられます。

■「Kirei肌AI」によるつやの多面的評価　さらに、「Kirei肌AI」を用いて、マット肌、テカリ肌、つや肌の画像を解析したところ、これらの肌は全く異なる質感であることが明確に示されました（図3）。テカリ肌は「Glossy」「Wet」「化粧くずれ度」が高く、「視覚的つや」は高くないと判断されています。一方で右のつや肌は、「視覚的つや」が非常に高く、一方で「Glossy」でありながら「化粧くずれ度」は低いという評価になっています。

 

　この結果から、「Kirei肌AI」は、単なる光沢のありなしではなく、「Powderly/Glossy」「化粧くずれ度」など光沢のわずかな違いを区別し、さらには好ましく見えるかというヒト特有の視点も含んだ繊細な分析が可能なＡＩ肌評価技術であるといえます。

■まとめ
　今回、既存の肌評価AI技術をさらに進化させ、肌の精緻な解析とヒトの視点・判断をあわせ持ち繊細な質感を評価・表現できるAI技術の開発に成功しました。今後はこのAI技術を、魅力的な製品開発やお客さまに対するカウンセリングの充実に向けて積極的に活用していきます。