博報堂と博報堂アイ・スタジオ、3DCG女子高生Sayaとの会話を通してAI技術を学ぶ授業「1日転校生Saya」を鎌倉女学院高等学校で実施

〜超高精細3DCGでのリップシンクによる発話機能「Talk to Saya」を開発〜

株式会社博報堂（本社：東京都港区、代表取締役社長：水島 正幸、以下博報堂）と株式会社 博報堂アイ・スタジオ（本社：東京都千代田区、代表取締役社長：神戸 純、以下博報堂アイ・スタジオ）は、CGアーティストTELYUKAの制作する3DCG女子高生Sayaとの会話が可能となる機能「Talk to Saya」を開発しました。
また、11月28日に学校法人鎌倉女学院高等学校にて「Talk to Saya」を使って、AI技術を学ぶことができる、高校生向け授業プログラム「1日転校生Saya」を実施いたしました。

Saya Virtual Human Projectは、CGアーティストTELYUKAと博報堂ＤＹグループを中心メンバーとする、3DCGや自然言語処理などのテクノロジーで17歳の女子高生を再現する「バーチャルヒューマンプロジェクト」です。
2019年１月より博報堂アイ・スタジオが技術開発に参画し、このたび、TELYUKAが制作する超高精細3DCGでのリップシンクによる発話機能「Talk to Saya」を新たに付加することで、Sayaとリアルタイムに「会話」することが可能になりました。

■「Talk To Saya」リップシンクの仕組み：
1. マイクを通して生徒の声を取得
2. 音声データをテキストデータに変換（Speech to Text）
3. テキストデータを解析し返答文章を生成
4. 返答文章を音声データに変換（Text to Speech）
5. 返答文章および音声データを元に口の動きを生成
6. 生成した口の動きと音声データを組み合わせて発話

その結果、口の動きと声を限りなく人間の自然な動きに近づけることができます。

「1日転校生Saya」は、教室の大型ディスプレイや班ごとに与えられた小型デバイスを介して生徒たちがSayaとの質問・相槌などの会話を通して、AI技術の仕組みを知り、AIの成長プロセスに参加することで、バーチャルヒューマンと共生する未来の日常生活を疑似体験し、AI技術の活用例を学ぶことができるプログラムです。

2019年11月28日に、学校法人鎌倉女学院高等学校の協力のもと、「1日転校生Saya」の体験授業を実施いたしました。Sayaが１日限りの転校生として2年生の生徒とともに「情報」の授業に参加し、生徒たちはAIとの会話体験「Sayaとトーク」をしたり、生徒の会話からSayaが思考し、その考えをSaya自身が発表する「Sayaの考えを聞いてみよう」などの体験を行いました。AI技術の基礎を学びつつ、複数のデモ体験を通じて最新テクノロジーを体験、複合的な技術の組み合わせによるバーチャルヒューマンの未来の姿を考える授業となりました。
 

 　　（当日の授業の様子）

 
博報堂および博報堂アイ・スタジオは、「1日転校生Saya」の普及を通じ、生徒・学生の皆さんの情報システムの理解促進、情報リテラシーの向上に貢献してまいります。また、SayaをはじめAI技術を活用したクリエイティブ開発についても積極的に取り組み、新たなビジネスを創出してまいります。 

▼詳細は下記ページよりご覧ください
https://hakuhodo.co.jp/news/newsrelease/75395/