デジタルヒューマン株式会社、株式会社miiboと共同で日本初の「視覚」を持つデジタルヒューマンを開発！より人間らしい会話体験の実現へ

デジタルヒューマン株式会社

2024年3月18日 11時00分

デジタルヒューマンVISION デモ動画：

デジタルヒューマン株式会社（本社：兵庫県芦屋市、代表取締役：荒尾和宏）、株式会社miibo（本社：東京都渋谷区、代表取締役：功刀雅士）の2社は、共同で日本初*の「視覚」を持つデジタルヒューマンの開発を実現しました。これまで両社は、デジタルヒューマン社の提供するAIアバターに会話型AIを構築するプラットフォームであるmiiboを連携し、様々な事例に取り組んでまいりました。今回のアップデートにより、人間のように視覚を持ったデジタルヒューマンを実現し、より高度な会話体験の提供ができるようになりました。

本機能の早期実用化を目指し、共創パートナーをはじめとする参画企業の募集を本日より開始いたします。

*当社調べ

新機能について

デジタルヒューマンが相手の様子を視覚的に認識しながら、会話を行うことができるようになりました。AIが会話相手を視覚的に認識できることで、よりパーソナライズされた体験を提供できるようになります。

miiboは様々なLLMをカスタムした会話型AIを構築することに長けたサービスであり、OpenAI社の提供する画像認識に対応した生成AIモデルである「GPT-4 Turbo with vision」に対応しています。miiboの「GPT-4 Turbo with vision」をカスタムして利用する機能と、デジタルヒューマン社の音声認識・音声合成を搭載した高精度なAIアバターを組み合わせることにより実現した今回の新機能は、国内初*の事例です。

*当社調べ

今後の展開について

本新機能は、下記のような機能実装とユースケースへの応用が期待されます。

＜機能＞

・　デジタルヒューマンが会話相手の特徴を細かく把握可能に

　・会話相手の容姿や表情、性別を認識

　・上記の特徴に併せた会話が可能に

・　デジタルヒューマンが眼の前にあるモノを認識して会話

＜想定されるユースケース例＞

【　医療　】

デジタルヒューマンが心臓病のコーチとして術後患者をサポート

https://youtu.be/Q3tU5dSoNWQ?si=RsCi1YlzYWKPiF39

【　観光/旅行　】

デジタルヒューマンガイドと一緒に街を観光

https://youtu.be/vqlb1E4VdLY?si=iCwdsCSAYIP8OFa4

【　アパレル　】

店舗における接客体験の向上

新たに「視覚」の機能を持ったデジタルヒューマンは使い方によってさまざまなシーンでのご利用が可能となります。

早期実用化に向け、共創パートナーをはじめとする参画企業を本日より先着順で募集いたしますので、気になる企業・団体の方はぜひお早めにお問い合わせください。

本取り組みの背景

学習したデータを元に、新しいデータや情報をアウトプットする生成AI（ジェネレーティブAI）は、これまで人間が実施してきた「考える」「計画する」などを実行し、アイディアやコンテンツを生み出すことができます。そのため、フロントエンドとして人間とAIの良い点を組み合わせたハイブリッドな存在であるデジタルヒューマンがマッチします。

miibo社の提供する会話型AIと、デジタルヒューマン社の提供するデジタルヒューマンを掛け合わせたAIアバターはこれまでも、人間のように「聴覚」「言語」を持ち、音声認識・音声合成ともスムーズに連携する高精度な機能で人間とAIの自然なコミュニケーションを実現してきました。

この度、AIアバターにさらに「視覚」を持たせることに成功し、AIアバターがさらに人間に近づく画期的な進化を遂げます。