AI×WebGLでデジタルツインをもっと手軽に。3D Gaussian Splattingを用いた実証実験を開始

「エンターテインメントの再発明」をミッションに掲げる株式会社stu（本社：東京都渋谷区、CEO：黒田貴泰）は、AIを用いたフォトグラメトリ技術の発展形になる「3D Gaussian Splatting」の実証実験の研究を開始したことにつきましてお知らせいたします。本技術により、従来のフォトグラメトリ技術では不得意とされていた質感の表現が可能になり、WebGLと組み合わせることで手軽にWebブラウザ等で利用可能になりました。

制作途中段階のポイントクラウド(左)、3D Gaussian Splattingで出力した空間を撮影(右)を合成した

　AI（人工知能）の技術が進歩し、多くの人々が使っているChatGPTのように、言語を理解するAIをはじめとして、画像や映像を理解したり、音や音楽を分析したりと、AIはさまざまな分野で活用されるようになりました。

AIは、従来できなかったようなクリエイティブな作業の効率化や、新たなアプローチの開拓等に役立っています。

　このようなAI時代の潮流の中で、stuは「3D Gaussian Splatting」と呼ばれる画像分析のAIを活用した新たなデジタルツインの実証実験を実施いたしました。

■「3D Gaussian Splatting」の商用化実現を目指す背景

　stuはデジタルツイン技術をさらに推進するために 「3D Gaussian Splatting」による実証実験を開始しました。本技術は、現実世界の『デジタルツイン』と呼ばれる、デジタルで再現されたフォトリアリスティックなバーチャル空間を作ることが可能です。

　これまでもstuはフォトグラメトリ技術を基に構築した『デジタルツイン』の実績がございます。今回の「3D Gaussian Splatting」の実証実験では、AIを活用することでこのフォトグラメトリ技術をさらに進化させたといえます。

■独自のリアルタイムレンダラーを自社開発

　また、合わせて本技術に最適な独自のリアルタイムレンダラーを自社開発し、WebGLによるビューワーから誰でも手軽に体験できるようにしました。

　下図のように、プロ用ではないスマートフォン等で撮った簡易的な動画から、簡単に３Dシーンを構築し、すぐにWebブラウザから自由に操作して、３Dシーンを見渡すことが可能です。

▼「3D Gaussian Splatting」を用いて動画から3Dシーンを見渡す

スマホで撮った動画

Webビューワー

ドローンで撮った動画

Webビューワー

スマホで撮った動画

Webビューワー

■「3D Gaussian Splatting」を選定した利点

　3D Gaussian Splatting とは動画から3Dシーンを再構成する、2023年8月に発表されたばかりの新技術です。同様の技術にフォトグラメトリ・NeRFがありますが、3D Gaussian Splatting はフォトグラメトリでは苦手だった反射の多い質感などを表現でき、NeRFよりも描画負荷が軽量である点が「3D Gaussian Splatting」の利点です。

■「3D Gaussian Splatting」の活用

　3D Gaussian Splattingを用いると、写真を撮るような手軽さで現実世界の空間を3Dシーンで再現できます。

①作成した3Dシーンをメタバースへ活用
　撮影したデータをメタバース空間へ取り込み、メタバース空間にリアリティをもたらすことが可能です。

　現実世界のデジタルツインをバーチャルに持ち込むのに有用です。

②作成した3Dシーンを使ったバーチャルロケハンとして活用

　撮影ロケ地で撮影した動画を３Dシーンにすることで、現場ではロケハンが不要です。

　３Dシーンから、PC上でさまざまなカメラアングルのアプローチが何度でも検討可能です。

③作成した3Dシーンを3Dバーチャルデジタルフィギュアとして販売

　アーティストのライブや新曲に合わせて、アクリルスタンドのように3Dデータを販売することができます。

　好きな角度からアーティストを何度でも閲覧でき、MVやライブで実際に使用した美術セットを背景にできます。

撮影イメージ

■「4D Gaussian Splatting」への期待

　本技術は今後、3D Gaussian Splattingに時間軸を追加した「4D Gaussian Splatting」の発展が期待できます。時間によって変化する空間を自由に歩き回れるため、360度動画などの既存の技術と違い、自由な視点での映像体験が可能な点が新しい特徴です。 

　例えば、本技術では前章に記述の通りアーティストの「バーチャルデジタルフィギュア」の販売が可能ですが、これを「空間ビデオ」にすることで、アーティストの歌っている「バーチャルライブフィギュア」というような新しい形が可能となるでしょう。自分の好きな角度から、歌っているアーティストのライブシーンを自由に見ることが可能にもなります。

　また、すでにstuではフォトグラメトリにおいての実例が多数あり、stuがこれまで手掛けているさまざまな３D技術と「3D Gaussian Splatting」へのスムーズな応用が可能です。例えば「3D Gaussian Splatting」で作成した３DシーンにVFX演出を加えたMV制作やプレビズ、ライブ制作や、キャラクターの演出を加えたバーチャル世界でしかできないイベント、エンタメ分野以外でも商品カタログのバーチャルワードローブやバーチャル店舗、資料館のデジタルツインなども可能です。

■stuのAI・機械学習の研究開発

　stuでは、エンターテイメント領域でのAI・機械学習の研究開発に取り組んでおり、映像制作のプロダクション行程のDX化や、AIを用いた新しい体験の提供などを目指しています。
　stuではAIによる新たな可能性を常に模索しており、今後も企業や、さまざまなプロジェクトへの技術提供に積極的に取り組んでまいります。本格的な開発と実証実験に協力していただけるエンターテインメント企業や自治体の方を募集しております。ぜひ一度お問い合わせください。

これまでのAI活用による事例の一部

・リアルタイム参加型バーチャルライブシステム『LAIV(ライヴ)』

　参加者のコメントをもとに生成AIによるリアルタイム演出が変わる参加型バーチャルシステム『LAIV(ライヴ)』を開発、アーティストと参加者による双方向演出を可能とする新たなVRライブ体験を提供

・自動マスク生成・自動シーン検出技術「Scene Tracking Mask」

　撮影された映像に対して、自動マスク生成する技術と自動シーン検出技術を持つシステム「Scene Tracking Mask」を活用し、映像作家柿本ケンサク氏のショートフィルム作品『トノムラ』へ技術提供

・生成AIのワークフロー効率化システム「SyncFlow AI」

　生成AIによる映像制作の効率化と表現の幅を広げるためのシステム「SyncFlow AI」を開発、『百年後芸術祭-内房総アートフェス-』へ映像提供

■株式会社stuについて

　stuは、「エンターテインメントの再発明」をミッションに掲げ、ボーダーレスなアイデアを創出するクリエイティブチームを中心に、5G、XR、メタバース領域のエッジテック事業と、ライターズルームやプレビズといった世界基準の映像制作ワークフローを導入したコンテンツ開発事業を掛け合わせ、エンターテインメントの新時代を創造する企業です。

・お問い合せ：[e-mail]

・公式Web：https://stu.inc/

・公式X(旧Twitter) ：https://twitter.com/stuinc_