バーチャルヒューマンを使った動画、簡単に

日経イノベーション・ラボが制作システム開発

日本経済新聞社(本社：東京都千代田区、代表取締役社長：長谷部剛)の研究開発組織である日経イノベーション・ラボはデータグリッド（本社：京都市、代表取締役CEO：岡田侑貴）と共同で、AIが生成した人物（バーチャルヒューマン）を用いて動画を制作するシステムを開発しました。

開発したのは、AIが作り出した実在しない人物や、実在する人物をベースに、自由に発話する内容を指定し動画を制作するシステムです。報道での利用やオンラインイベントの司会など様々なシーンでの利用が考えられます。現在、動画作成には出演者や撮影スタッフ、スタジオの確保など多くのコストがかかります。このシステムを使うことで、いつでも誰でも簡易的な動画を作ることが可能となります。

(AIが自動生成したバーチャルヒューマンの例)

人物をキャプチャーしてCGを作る従来の手法とは異なる技術で、AIに人間の写真の特徴を学習させることで、より自然な人物データを自動生成することを可能にしました。その人物データに対して、入力された音声データに合わせて自然な形で唇の形を生成するリップシンク技術や表情を変化させる技術を組み合わせることで、バーチャルな人物ながらも写実的な動画を生成する技術の開発に成功しました。リップシンクは入力する音声データの言語を問わずに多言語で利用することが可能です。この技術により人種、年齢、性別、言語を問わない多様性のあるバーチャルヒューマンを利用することが可能となります。

 従来のCGから人物を制作する手法では専門家が時間をかけてCG制作を行う必要がありましたが、本システムの活用により大きなコスト削減が見込まれます。これまで人物を撮影し3Dモデリングや音声を収録して動画を作成する場合、最低でも数日から10日程度、高い品質を求める場合は数ヵ月の時間が必要でした。本システムを利用することにより、1日で動画を制作することが可能となります。

 また本システムでは写真や動画を用意することで実在する人物をもとにして自由な動画を作ることも可能です。実在する人物の顔のみをバーチャルヒューマンに置き換えることも出来ます。将来は自分の動画をアップロードし、自分のデジタルアバターを生成することも可能となる予定です。

今回、日本経済新聞社では若手社員約160人にAIで顔写真を利用する事に対する同意を得て、若手社員の中間的な特徴を持つ男女のバーチャルヒューマンを作成しました。

このシステムは日本経済新聞社グループ内で利用を開始します。本システムを用いて制作した動画は日本経済新聞 電子版で公開しました。10月4日の日本経済新聞夕刊紙面のコラム「ニッキィの大疑問」に、動画につながるQRコードを掲載しています。


日本経済新聞社について
日本経済新聞社は1876年以来、140年にわたってビジネスパーソンに価値ある情報を伝えてきました。約1500人の記者が日々、ニュースを取材・執筆しています。主力媒体である「日本経済新聞」の販売部数は185万部、2010年3月に創刊した「日本経済新聞 電子版」をはじめとするデジタル有料購読数は85万で、有料・無料登録を合わせた会員数は500万を上回っています。

データグリッドについて
「AIが自然と溶け込んだプロダクトを共創する」というミッションのもと、世界で注目される先端AI技術「GAN（敵対的生成ネットワーク）」に代表される深層生成モデル（生成AI）の研究開発および社会実装を進めるAIスタートアップ。当社のAIアセットを利用し、各業界のパートナー企業とプロダクト・サービスの共同開発および製品化を行う。2019年4月に発表した「全身モデル自動生成AI」をはじめ、デジタルヒューマン関連技術が世界から注目を浴びている。

本件に対する問い合わせ
日本経済新聞社 広報室　TEL:[phone] (代表)