ARエンタメのGraffity、P.I.C.S.と共同でApple Vision Proを活用したビジュアル表現の研究開発を実施

〜現実空間の体験価値を再定義するビジュアル表現の追求〜

Graffity株式会社（代表取締役社長：森本俊亨、本社：東京都目黒区、以下「Graffity」）は、映像プロダクションの株式会社ピクス（代表取締役：平賀大介、本社: 東京都渋谷区、以下「P.I.C.S.」）と共同で、Apple Vision Proを活用したリアルタイムビジュアル表現の研究開発を実施しました。本取り組みは、iPhone映像をAIフィルターで変換し、NDI経由でApple Vision Proへ描画することで、現実空間の体験価値を再定義する新しいインタラクティブ手法を検証するものです。

■ 背景

Apple Vision Proは、デジタルコンテンツを物理空間へ自然に溶け込ませる“空間コンピューティング”を一般化する革新的デバイスとして2024年に発売されました。企業利用においても、従来不可能だった体験型アプリケーションの開発が加速しており、空間コンピューティング市場は2030年までに約4,235億米ドル規模※1へ成長すると予測されています。

一方で、Apple Vision Proの高精細なパススルー映像を最大限に活かす“没入型ビジュアル表現”の方法論はまだ確立途上です。そこでGraffityとP.I.C.S.は、自社のXR／映像制作ノウハウを融合し、現実映像をAIで瞬時に変換する検証プロジェクトを立ち上げました。

※1 https://www.ibm.com/jp-ja/think/insights/spatial-computing-future-of-ai

■ 概要

本プロジェクトでは、iPhoneのカメラ映像をPCへリアルタイムでストリーミングし、TouchDesigner上で生成AIフィルターを適用するワークフローを構築しました。加工後の映像をNDI®プロトコルでApple Vision Proへ伝送することで、ユーザーは周囲の実環境が「海」「宇宙」「サイバーシティ」などに瞬時に変容するインタラクティブな体験を得られます。

■ 主な特徴・機能

• iPhone映像をPCへ低遅延ストリーミングし高解像度で取り込み

• TouchDesigner＋生成AIにより音声入力のプロンプトベースでリアルタイム映像変換（例：「海みたいな空間にして」）

• NDI®経由でApple Vision Proへ送信し、視野全体を変換映像でシームレスに書き換え
  

■ パートナー企業と役割

P.I.C.S.は、ホールディングスカンパニーである株式会社IMAGICA GROUP（代表取締役社長：長瀬 俊二郎、本社：東京都港区）との連携のもと、Apple Vision Proを用いた新しい映像表現と体験の研究を進めています。

同社のテクニカルチーム＜P.I.C.S. TECH＞は、最先端技術の探究と実装を通じて、CMやMV、アニメーション制作で培ったクリエイティブな知見を、新たな空間体験へと拡張しています。

本プロジェクトでは、同チームが企画立案とTouchDesigner上で動作するAIフィルターの実装を担当しました。

Graffityは、iPhone-to-PCストリーミング、NDI®送受信、visionOSアプリケーション開発を実装しています。Apple Vision Pro向けタイトル「Ninja Gaze Typing」「Shuriken Survivor」や企業とのApple Vision Proを活用した共同プロジェクトなど複数の開発実績で培った知見を活かし、高画質な空間描画を実現しました。

■ Graffityの技術的強み

Graffityは企画からアプリ実装まで内製で完結できる体制を持ち、パートナー企業の課題やテーマに合わせた柔軟な技術選定が可能です。また、Apple Vision Pro向けタイトル「Ninja Gaze Typing」「Shuriken Survivor」などBtoC向けタイトルで獲得したUX知見をビジネス領域へ転用し、Apple Vision Proアプリを迅速にプロトタイプ→実運用へ落とし込める点が強みです。

■ 将来の展望

両社は今後も連携を継続し、Apple Vision Proを活用したリアルタイムビジュアル表現の研究開発を進めます。さらに、空間体験をコアとした施策を検討する企業・自治体・クリエイターとの共同研究／PoC（概念実証）パートナーを広く募集します。

▼ インタビュー記事

URL : https://note.com/graffity/n/n67ec32cd78be

▼ お問い合わせはこちら
https://graffity.jp/#contact

【Graffity株式会社概要】

Graffity株式会社は、「ARで、リアルを遊べ。」をミッションに、2017年に創業したARエンタメ企業です。これまでに、世界初の技術を使用したARシューティングバトル「ペチャバト」をリリースし、累計25万ダウンロードを突破、運用型ARシューティングバトル「Leap Trigger」を米国にリリースするなど、ARエンタメ業界の発展に寄与しています。現在は、C向けのプロダクト企画・開発の知見を活かし、AR技術に特化した新規事業の企画・開発・運用改善まで支援するスタジオ「Graffity AR Studio」を運営しております。実績として、NTT コノキュー社と連携し、ARアプリ「LOST ANIMAL PLANET」の企画・開発・運用を行っています。2024年にApple Vision Pro向け空間ゲーム「Ninja Gaze Typing」、空間シューティングゲーム「Shuriken Survivor」の2作品リリースしております。

会社名：Graffity株式会社 / Graffity Inc.
所在地：東京都目黒区青葉台4-7-1 プラトーヴェール9階
設立：2017年8月
代表者：森本俊亨（代表取締役CEO）
事業内容：ARエンターテイメントの企画・開発
ウェブサイト：http://graffity.jp/