新時代のVTuberライブの実現を目指し、リアルタイムMRライブシステムをstuとANYCOLORが共同開発。
「ANYCOLOR/にじさんじ 新技術実証実験イベント ver.2025.01」で実証
株式会社stu（本社：東京都渋谷区、CEO：黒田貴泰、https://www.stu.inc/）とANYCOLOR株式会社（本社：東京都港区 代表取締役：田角陸、https://www.anycolor.co.jp/）はVTuberに特化したMRライブシステムを共同開発。2025年1月8−9日に開催された「ANYCOLOR/にじさんじ 新技術実証実験イベント ver.2025.01」にて実証実験を実施しました。
本イベントはMeta Quest3とXperiaで体験可能なMR形式のライブイベントとなっており、にじさんじ所属タレント「加賀美ハヤト」と司会進行の「百花繚乱」が出演し、観客を交えたトークと、音楽ライブの2つのイベント形式で実証実験を行いました。
MR（複合現実）でのライブ
従来のVTuberの音楽ライブは、会場のLEDモニターに映し出された映像を観客が視聴する体験が主流でした。今回開発したシステムでは、ヘッドマウントディスプレイやスマートフォンを通じて、体験者自身の視点でリアルタイムに鑑賞できる新しいライブエンターテイメントの提供を目指しました。
このシステムでは、低遅延のデータ伝送により、VTuber・司会者・観客がリアルタイムでコミュニケーションを取ることが可能です。さらに、音声はイヤホンではなく、通常のライブと同様に会場のスピーカーから出力する設計とし、より臨場感のあるライブ体験を実現しました。
リアルタイムMRライブシステム概要
本システムは、VTuberが目の前に存在しているかのような体験を提供するために、VTuberライブ専用の伝送システムとMR合成システムの2つを新たに開発しました。
データ伝送技術
リアルタイムでの相互コミュニケーションを可能にするためには、キャラクターのモーションや照明などの演出信号を、複数のヘッドマウントディスプレイやスマートフォンに対して低遅延で伝送する必要がありました。
そこで、ANYCOLORと共同開発したVTuberライブに特化した独自のデータ圧縮技術を基に、新たな伝送システムを導入。映像の遅延や同期ズレを最小限に抑えることで、リアルタイムMRライブを実現しました。
映像合成技術
実写とCGの合成において、リアルタイムで高精度な映像を生成することが課題でした。ライブイベントを想定した合成を行うためには、ステージ美術とキャラクターの前後関係を正確に表現しながら、リアルタイムの照明演出を反映させる必要があります。しかし、従来のAR/MR技術ではこの表現が困難でした。
そこで、ライブイベント向けの新たな合成手法を開発し、キャラクターと会場の音・照明が連動するVTuber専用MR合成技術を実現しました。
再設計されたネットワーク・インフラ
また、大量のデータを安定して伝送するために、会場のネットワークインフラを再設計しました。一般的な会場の無線環境は、大量のデバイスへのリアルタイムデータ送受信を想定していないため、MRライブの実現には課題がありました。
今回、リアルタイムMRライブに最適なネットワーク機材を導入し、データの流れを最適化。オペレーターの負担を軽減しながら、安定したデータ配信を実現しました。
今後の展望
リアルタイムMRライブシステムの開発により、キャラクターIPがより身近に感じられる没入型体験が可能になり、従来にない自由度の高いコンテンツの提供が可能となりました。
この技術は、ライブイベントだけでなく、ゲーム・展示会・テーマパーク・ショッピングモールなど、さまざまなエンターテイメント分野への応用が可能です。今後もVTuberに限らず、国内のキャラクターコンテンツ全体の新たな発展を後押しできるよう、取り組みを続けてまいります。
イベントの様子
イベント概要
ANYCOLOR/にじさんじ 新技術実証実験イベント ver.2025.01
https://www.anycolor.co.jp/news/lcc0onaguaf
■出演者
・MC：百花繚乱
・出演者：加賀美ハヤト
技術開発: stu
開発・モーションキャプチャースタジオ協力: Guncy’s
照明・映像演出協力: huez / Shibucreation.inc
■ANYCOLOR株式会社について
NEXT ENTERTAINMENT FACTORY ー「魔法のような、新体験を。」ー
ANYCOLOR株式会社は、2017年5月2日に設立されたエンターテイメント系スタートアップです。私達は「エンタメ経済圏」が加速する新時代の切り込み役として、世界の人々の日常に魔法をかけていきます。
◾️株式会社stuについて
stuは、「エンターテインメントの再発明」をミッションに掲げ、ボーダーレスなアイデアを創出するクリエイティブチームを中心に、5G、XR、メタバース領域のエッジテック事業と、ライターズルームやプレビズといった世界基準の映像制作ワークフローを導入したコンテンツ開発事業を掛け合わせ、エンターテインメントの新時代を創造する企業です。
お問合せ：contact@stu.inc
公式Web：https://stu.inc/
公式X(旧Twitter) ：https://twitter.com/stuinc_
すべての画像
