動きのある被写体を自由なカメラワークで映像化する「4DNeRF」を開発

ニューウェーブ・テクノポップ・バンドLAUSBUBの新曲「I SYNC」MVを制作

　テクノロジーを起点とした社会課題の解決や、新しい表現開発を実践するDentsu Lab Tokyoは、複数の写真から3Dシーンを生成する手法「NeRF」を拡張し、動きのある被写体を自由なカメラワークで映像化できる新しい撮影ツール「4DNeRF」のプロトタイプを開発しました。7月24日(水)にリリースとなる、ニューウェーブ・テクノポップ・バンドLAUSBUBの1st ALBUM「ROMP」に収録された新曲「I SYNC」MV は、この4DNeRFを用いて制作。4DNeRFの初の試みとして、実験的な演出を多数盛り込んだMVに仕上げました。

動きのある被写体を3D化する撮影ツール「4DNeRF」

■「4DNeRF」の2つのメリット

①撮影機材が安価かつ簡単に設営可能

　人物・位置・動きを3Dデータ化する既存の技術として「ボリュメトリックキャプチャ」がありますが、これと比較して4DNeRFはより安く・簡単に撮影機材を設営することができます。被写体が映るように複数台のスマホ（今回は24台）を三脚で設置すれば完了し、撮影時のキャリブレーションは不要です。そのため、屋外での撮影も可能にします。

 

②動いている被写体の自由視点映像を生成可能

　これまでにもNeRFを活用したCMやMVはありましたが、静止した3D空間の中をカメラが自由に動く表現に限られていました。今回の手法では、複数の動画素材から３Dシーンを生成し、被写体に動きのある自由なカメラワークの映像生成を可能にします。

■新たに2つのシステムを開発

①24台のスマートフォンを同期し、同時に撮影するカメラアプリケーション

　制御用のPCとスマートフォンをローカルネットワークで通信し、時刻や撮影時の情報（シーン数やテイク数など）、録画の開始・停止信号をすべてのスマートフォンと同期。0.01秒以下の誤差で同時にスローモーション撮影を行い、録画データを適切なファイル名で保存することができるアプリケーションを開発しました。

②フレームごとに学習・レンダリングするシステム

　撮影した24 台のカメラ映像からあるフレームを切り出してNeRFモデルを学習し、その瞬間の3DをPCのシステム上で再現。これをすべてのフレームで行うことで、コマドリ動画のように動く被写体をNeRFデータ化します。

                                     
　カメラワークや被写体の時間を自由に変更できるため、例えば逆回しで動く被写体を複雑なカメラワークで撮影するといった今までできなかった映像表現が可能となりました。

■「4DNeRF」が可能な映像表現                    
1) 動く被写体の3D化

2) 自由なカメラワークによる撮影

例）直線的なカメラワーク

例）足の間を抜けるカメラワーク

3) 被写体の時間や空間を自由に組み合わせた編集

例）通常再生と逆再生を同じ空間に配置する

例）通常再生、倍速再生、逆再生、ランダムを同居させる

■開発者コメント　Dentsu Lab Tokyo Creative Technologist 九鬼慧太

　この度、LAUSBUBさんにご協力いただき、今までに見たことがない映像表現のMVを制作するため、撮影手法から新しく開発することになりました。楽曲のエクスペリメンタルな雰囲気にも影響され、撮影手法の開発途上の粗さもあえて取り込んだ実験映像的な演出を多数盛り込みました。時間と空間がおかしな世界で戯れるLAUSBUBらしいお二人を表現しつつ、NeRFならではのノイズを生かした、これまでにない質感の映像に仕上げることができたと思っています。

　今後、持ち運び可能なボリュメトリックスタジオのような運用ができることを目指し、時間と空間を共に編集できる軽量な撮影手法の実現に向けて開発を続けていきます。また、同時にNeRFしかできない全く新しい映像演出・エフェクトの探索も続けていきたいと思います。

「4DNeRF」による実験的な演出を盛り込んだLAUSBUB「I SYNC」MV

　岩井莉子と髙橋芽以によって結成されたニューウェーブ・テクノポップ・バンドLAUSBUBの新曲MV「I SYNC」のMVを、今回開発した撮影ツール「4DNeRF」によって制作。

　MVでは、LAUSBUBの二人のさまざまな動きを撮影・NeRF化し、非現実的な動きをする二人を現実ではあり得ないカメラワークで映像化しています。また、今回は初めての試みでもあったため、100以上のシーンを撮影し、そこから面白い動きを抜粋して4DNeRFでしか表現できないMVに仕上げました。

　また、4DNeRFはカメラワークと被写体の動きの速度を自由に編集することができるため、楽曲のBPMや音に合わせた映像を編集段階で調節しながらつくることができます。MV中の40秒の長回しのワンカットの映像は、二人の動きの時間とカメラワークを調整し、歩いている足の間をカメラが抜けるといった複雑なシーンを構築しました。

■MV「I SYNC」概要

• アーティスト：LAUSBUB

• 楽曲タイトル：I SYNC

• 収録アルバムタイトル「ROMP」

• アルバムリリース日：2024/7/24

• MV公開日：2024/7/24

• レーベル：極東テクノ

• 制作者

  • Creative Technologist ：Dentsu Lab Tokyo九鬼慧太 / 横山魁

  • Producer：Dentsu Lab Tokyo 齋藤雄太

  • Director：岡本太玖斗

■LAUSBUBプロフィール

　2020年3月 北海道札幌市の同じ高校の軽音楽部に所属していた、岩井莉子と髙橋芽以によって結成されたニューウェーブ・テクノポップ・バンド。

　2021年1月18日 Twitter投稿を機に爆発的に話題を集め、ドイツの無料音楽プラットフォーム”SoundCloud”で全世界ウィークリーチャート1位を記録。同時期に国内インディーズ音楽プラットフォーム”Eggs”でもウィークリー1位を記録。2021年6月18日 初のDSP配信となる配信シングル『Telefon』をリリース。2022年11月16日には初のフィジカル作品となる1st EP「M.I.D. The First Annual Report of LAUSBUB」をリリース。2023年8月には地元北海道の大型フェス「RISING SUN ROCK FESTIVAL in EZO」に出演。

　その話題性のみならず、本格的な音楽性からミュージシャン・音楽ファン・各メディアからの注目を集めるニューウェーブ・テクノポップ・バンド。

Dentsu Lab Tokyoについて

　Dentsu Lab Tokyo（デンツウラボトウキョー)は、研究・企画・開発が一体となったクリエーティブのR＆D組織です。「PLAYFUL SOLUTION」「おもいもよらない」をフィロソフィーとしながら、デジタルテクノロジーとアイデアによって、人の心を動かす表現開発や、いま世の中が求める社会の課題解決を実践しています。

https://dentsulab.tokyo/