世界初の先端技術実証実験を『TGC 北九州2018』にて実施　AI+4K+360°VR+映像劣化なし圧縮+ライブストリーミング＋複数SNS同時配信

　株式会社VRaiB（東京都中央区、代表取締役社長：中村直介）は、株式会社W TOKYO（東京都渋谷区、代表取締役社長：村上範義）協力のもと『takagi presents TGC KITAKYUSHU 2018 by TOKYO GIRLS COLLECTION （以下、TGC 北九州 2018）』にて、新たな体験型映像世界の実現に向けて、世界でも類を見ない、AI、4K映像、VR、画質劣化がほぼない映像圧縮を組み合わせ、複数SNSへのライブ配信の実証実験を行い成功させた。

■目的

「日本のリアルクローズを世界へ」をテーマとし、2005年から始まった東京ガールズコレクションは、“世界でも類を見ない大規模なファッションショー”として、現在では国内外でイベントを行うと共に、携帯サイトやインターネットサイトを使った新しい購買スタイルを提案・構築し、継続的に新たな試みを行うことで、常に進化したファッションショーが好評。
その魅力的なTGCを舞台とし、近い将来にむけた価値のあるサービスの提供を目指し、一般的にはまだまだ縁遠い存在であるAI、VR、4K映像などをより身近なものとして活用できることを証明するため、今回、『TGC 北九州2018』という最高のエンターテイメントの場所を借りて、実証実験をすることにした。

■実証実験概要
4K360°VR映像に、AIや映像圧縮の先端技術を組み合わせた4Kライブ配信を、高価で専門的な機材や設備を使用せずに、一般的に入手可能な機材や環境を使うことにより、低コストで実現。

 

4K360°VR映像配信

AI画像処理

1, 大容量動画データ利活用にむけた圧縮技術    →　4K高画質VR映像をほぼ劣化させず圧縮
2, AI技術のエンターテイメントでの活用模索    →　4K高画質VR映像のAI画像処理
3, リアルタイム参加型イベントプラットフォーム→　複数SNSでの4KVRライブ同時配信と視聴

■実験1：大容量動画データ利活用にむけた圧縮技術の検証
　4KVRカメラから出力される映像データは大容量となってしまうため、一般的に利用可能な通信網では、そのままでは配信が難しく、また配信できたとしてもデータロスが多くまともに視聴できないものとなってしまう。そこで、映像の画質はそのままに、データの無駄を省く最適化技術を用いて映像を圧縮。映像の劣化がなく視聴者が閲覧端末や通信環境を選ばず4K360°VR映像を視聴できるようにした。
　この圧縮技術により現状では、データ容量が大きく視聴するには専用の大容量回線や特殊な機材など、ハイスペックデバイス等が必要となる4K映像も現在と同じ通信環境、デバイスで手軽に視聴できることを実証した。
 

◆圧縮最適化なし カメラから出力されるH.264画像データをそのまま配信すると、データ欠落が発生し、人物判断ができないぐらい画像が劣化している（YouTubeでの閲覧画像）。

 

◆圧縮最適化あり カメラから出力されるH.264画像データを5Mbpsまで圧縮し、FacebookおよびYouTubeへの同時配信を実施。データ圧縮最適化技術により、高画質のままデータロスがなく、画像がクリア。遠方の人物まで識別可能（YouTubeでの閲覧

■実験2： AI技術のエンターテイメントでの活用模索
　4KVR動画に対して、リアルタイムでモデルを認識して情報表示や、モザイク処理などAI画像処理を行い、SNSへの配信を試みた。今回の実験から、AI画像処理を活用することで、視聴者にモデルやブランド等の情報提供や、画像加工による肖像権等の保護として利用できること確認できた。今後は、洋服の購入への誘導の仕組みなど、さらに発展させた複数シーンでの利用を検討し、新しい視聴体験を提供する技術として、実用レベルに作り込んでいきたい。
 

モデルを認識し枠で検知結果を表示

 

モデルを認識しモザイク表示

モデル以外をグレイアウト

 

■実験3: リアルタイム参加型イベントプラットフォーム
　360°VRカメラ映像のSNSへのライブ配信を試みた。今回は、360度カメラのビューアを提供しているFacebookとYouTubeへ同時に配信を行い、視聴者はイベント会場にいるかのように、自分が見たい角度でショーをライブで視聴できることを確認できた。VR配信では、画面に表示される映像は全体映像の一部となることから、全体映像は大容量の画像データとなってしまうため、高画質のままのライブ配信は難しいものとされているが、圧縮技術を使うことで、高画質のまま複数のSNSへの配信ができることを実証した。今後は、VRをさらに進めて、コンテンツとして3Dモデルを活用するなど、より参加型のVR環境を構築していきたい。

 

 

視聴者は、自分の見たい角度に視点を変えてショーを楽しめる。

■実証実験使用機材

ハードウェアスペック

■カメラスペック(リアルタイムステッチ/ ライブストリーミング)
- 機種：Insta360 Pro
- レンズ：6＊ F2.4魚眼レンズ
- 解像度：3840 x 2160 @ 30fps(4K)

■ 圧縮サーバスペック
- CPU：Intel Core i7- 7700HQ CPU2.80GHz
- OS：Windows 10 
- メモリ：8GB
- グラフィック：GeForce GTX 1070

■AIサーバスペック
- CPU：Intel Core i7- 8750HQ CPU2.20GHz
- OS：Windows 10 
- メモリ：16GB
- グラフィック：GeForce GTX 1070

 

■総括
　2020年東京オリンピックを目前に、4K放送の開始など、大容量映像配信に関わる技術が求められていると共に、利用者からは新しいメディアやコンテンツの提供を待ち望まれている。
一方、4K映像、AIやVRのような先端技術を活用する場合、多くは高額かつ特殊な機材や設備が必要になることが多いが、今回の実証実験では、一般的に入手可能な機材や設備を用いて低コストで実現できることを実証した。
　今回の実証実験は、実用化に向けて作り込みを進めていくことで、最先端テクノロジーと融合し進化してきた東京ガールズコレクションの新しい試みへと繋げることが可能だと確信している。

【本件に関するお問い合わせ】

＜株式会社VRaiB＞
プレスリリース担当
メール：[e-mail]
TEL:[phone]