日本テレビ“超汐留パラダイス”における『HUNTER×HUNTER』PRブースにて、DMMと東京大学大学院情報理工学系研究科猿渡研究室が開発した“リアルタイム音声変換”が採択
～『HUNTER×HUNTER』のキャラクターの声になるシステムを開発～
日本テレビ放送網株式会社（本社：東京都港区、以下日本テレビ)が、7月26日（金）より開催するイベント「超汐留パラダイス」の企画である『HUNTER×HUNTER』のPRブースに、合同会社DMM.com（本社：東京都港区、会長 兼 CEO亀山敬司、以下DMM ）が、東京大学大学院情報理工学系研究科システム情報学専攻猿渡研究室(猿渡 洋 教授，高道 慎之介 助教)と共同で開発した“リアルタイム音声変換”技術が採択されました。なお、この共同研究は2016年に東京大学大学院情報理工学系研究科に設置された社会連携講座「時空間解析技術の応用研究」の活動の一環として行われたものです。
DMMは今回の取り組みを皮切りに、”リアルタイム音声変換"の技術をエンターテイメントを始め、様々な用途での展開を進めていきます。
■リアルタイム音声変換について
リアルタイム音声変換とは、機械学習を用いてマイクに向かって話す声を特定の人の声にリアルタイムに変換する技術です。
プログラムの中では、人の声を3つのフェーズにて処理し、特定の人の声にリアルタイムに変換します。
1.分析
人間の声を"声の高さ"、"声色"、"声のかすれ具合"の要素に分けて分析します。
2.学習・変換
分析した声の要素を事前に生成した声の変換モデルに従って、機械学習を用いて人間の声の要素を変換します。
3.生成
変換した声の要素、"声の高さ"、"声色"、”声のかすれ具合”を再度統合し、音声を生成します。
＜イメージ画像＞
従来は、音声変換の処理に時間がかかるためリアルタイムでの音声変換は難しく、イベントやライブ配信などリアルタイム性が求められる場面での活用は困難でした。
今回のシステムでは1-2時間程度の収録で得られる音声データを元に、機械学習を用いた独自の変換処理により遅延を小さく抑え、人間が音声遅延を認識する約70msを下回る約50msでの音声変換を実現しました。
音声変換モデルの機械学習には、変換精度を高めるため、主に画像生成等において成果を上げている「GAN(Generative Adversarial Network)」と呼ばれる生成モデルと同様の技術を応用しております。
また、音声変換部分はシステムを軽量化したことで一般的なノートパソコンで十分に動作が可能となりました。
※今回のシステムでは音響機器の影響で遅延が発生いたします。
デモ動画
https://youtu.be/P9rGqoYnfCg
■東京大学大学院情報理工学系研究科との社会連携講座について
DMMは、2016年に東京大学大学院情報理工学系研究科に設置された社会連携講座「時空間解析技術の応用研究」において、共同研究に取り組んできました。
当社会連携講座では、高速画像処理、音声音響信号処理、触覚情報処理、VR、ネットワークコンピューティング等の技術基盤の上に、世界最先端の時空間信号の解析・活用技術を開発しています。
DMMはそんな世界トップクラスの技術をこれまで培ったビジネスの知見を基にエンターテイメント領域を中心に、社会へのビジネス展開し、テクノロジーからの事業創造を目指しています。
【開催概要】
超☆汐留パラダイス！-2019SUMMER-
期間:2019年7月26日(金)〜8月25日(日)
時間:10:30〜18:00 ※一部21:00まで
場所:汐留・日本テレビ及び汐留公共地下歩道
詳しくは、公式サイトをご参照ください。
https://www.ntv.co.jp/shiopara/
本件へのお問い合わせは下記まで
【リリースとご取材に関するお問い合わせ】
DMM.com 広報部
〒106-6224 東京都港区六本木3－2－1 住友不動産六本木グランドタワー24F
TEL：03-5797-8926（連絡可能時間帯：平日10:00～19:00）
E-MAIL：release-dmm@dmm.com
リリース：https://dmm-corp.com/press/
すべての画像
