博報堂ＤＹホールディングス、Holotchとともにボリュメトリックビデオのリアルタイム双方向配信実験を実施

〜能の演者がバーチャル共演〜

株式会社博報堂ＤＹホールディングス（東京都港区、代表取締役社⻑：水島正幸、以下 博報堂ＤＹホールディングス）とリアルタイムにボリュメトリックビデオを撮影、配信する基礎技術を開発するHolotch Inc.（本社：米国デラウェア州、CEO：小池浩希、以下Holotch（ホロッチ））は、物理的に離れた空間にてボリュメトリックビデオ（立体動画）をリアルタイムに双方向で配信する実験を実施いたしました。本実験は持ち運び可能な機材を用いたボリュメトリックビデオの撮影、リアルタイム配信における現状の技術課題や運用課題を明らかにすることを目的にしたもので、博報堂が運営する研究機関「UNIVERSITY of CREATIVITY（ユニバーシティ・オブ・クリエイティビティ、略称：UoC）」の新しい次元の感動体験を探究する活動と連携して行われました。

 

 

新型コロナウイルスの世界的な蔓延により、演劇や音楽、スポーツなどのエンタテインメント領域では実空間に集まってのイベント開催が困難になっています。その代替手段として、ライブ配信への需要が高まるとともに、より臨場感や実在感を伴った映像体験を可能にする技術として、ボリュメトリックビデオへの注目も集まっています。

ボリュメトリックビデオとは、物理空間を３次元の立体映像として記録した実写の立体動画で、目の前に投影された映像をスマートフォンやARグラスを介して自由なアングルから鑑賞したり、記録した空間・人や物や出来事を別の空間においてそのまま再生し、それらをVRゴーグルを装着するなどして鑑賞することが可能となります。5GやVR/AR技術の普及とともに、バーチャルライブ等のエンタテインメントにおける活用のみならず、バーチャル空間での接客シーンや、遠隔地にいる友人との会話シーンなどにおける次世代コミュニケーションインターフェースとしても今後活用の広がりが期待されています。

今回は、Holotchおよび能がもつ身体性やAR/VRとの融合を探究するプロジェクト「NOH&」(能楽師・安田登氏主宰)の協力の元、約9.5メートル離れた２つの舞台にそれぞれ立った能演者のボリュメトリックビデオをリアルタイムに相互のステージに配信し、鑑賞者がスマートフォンやXRグラスを介して1つの能舞台を鑑賞できるという実験的な体験を構築いたしました。

通常、高品質なボリュメトリックビデオの撮影には専用のスタジオが必要で、リアルタイム配信・鑑賞にも高価な専用機材が必要ですが、今回の実験では持ち運びが可能な機材セットと一般に生活者が保有するタブレット端末にて実験を行い、現状の技術的課題を明らかにすると同時に、実際のイベントを想定した際の運用面で必要な体制やボリュメトリックビデオ撮影時の機材配置やオペレーション確認を行いました。

今回の実験により、持ち運び可能な小型機材によるボリュメトリックビデオの撮影・リアルタイム配信・鑑賞体験が可能であることが確認されるとともに、今回のような能の上映のみならず、コミュニケーション領域やエンタテインメント領域におけるボリュメトリックビデオ活用を通じた新たな体験創造の可能性も示唆されました。
例えば、通話時に相手と目の前の空間で向き合いながら話せるようになる次世代のビデオ電話や遠隔地同士をつないだライブデュオコンサート、テニスやバレーボールのようなネットを挟んで対戦するスポーツ競技等、従来は考え得なかったような新たな体験にこうした技術は活用できるようになるものと思われます。

博報堂ＤＹホールディングスでは、今後もボリュメトリックビデオの活用を通じた生活者の次世代体験創出に向けた研究を進めてまいります。
 

左：リアルな空間で演技をする演者（シテ）
右：リアルタイムに転送された右側のボリュメトリックビデオの演者（ワキ）との共演（ARデバイスの視聴イメージ）

左：リアルな空間で演技をする演者（ワキ）
右：リアルタイムに転送された右側のボリュメトリックビデオの演者（シテ）との共演（ARデバイスの視聴イメージ）

タブレット端末（ARデバイス）を通して鑑賞をする鑑賞者



■ 株式会社博報堂ＤＹホールディングス マーケティング・テクノロジー・センターについて
博報堂ＤＹグループのマーケティング・テクノロジーに関するナレッジ開発を担当する組織。

■ Holotch Inc.について
ボリュメトリックビデオをリアルタイムに撮影、配信する基礎技術開発を行う。デジタルのリアル化を掲げ、ボリュメトリックビデオを活用する事で“スマホ動画”では実現できなかったリアルに限りなく近いコミュニケーションやエンタテインメントの提供を目指す。
http://holotch.com/

■ NOH＆について
能がもつ身体性やAR/VRとの融合を探究する能楽師・安田登氏が主宰するプロジェクトです。

■ UNIVERSITY of CREATIVITY（UoC）について
UNIVERSITY of CREATIVITYは、創造性を人類最大の資本として捉え直し、新しい文明の地図を描くための「クリエイティビティの港」となることを目指し、文理芸や産官学の壁を超えて多様なクリエイティビティの研究と実験の掛け算を生み出す博報堂の研究機関です。
https://uoc.world