【リリース】Physical AI基盤モデル研究開発向けマルチモーダルEgo-centricデータセットを提供開始

Physical AIの研究開発において最も課題となる「実環境データの不足」を解決すべく、Nexdataは映像・IMU・SLAM等を完全同期したEgo-centricデータセットの提供を開始しました。

Physical AIの研究開発において最も課題となるのが「実世界に近い多様で高品質なマルチモーダルデータの確保」です。 特に、ロボットが実環境で自律動作するためには単なる映像データではなく、Ego-centric（一人称視点）による多感覚情報や精密な操作データが不可欠です。

これらの課題を解決すべく、Nexdataは2026年8月26日よりフィジカルAI基盤モデルの研究開発を加速させるため、Ego-centricを中心とした最新の大規模マルチモーダルデータセットをリリースいたしました。今回リリースするデータセットは基礎モデル構築から微細操作学習までカバーしており、映像、IMU、SLAM・深度、手部キーポイント、セマンティックアノテーションを完全同期させ、研究パイプラインへの即時導入を可能にします。

さらに、Physical AIの実環境導入においてデータ収集と前処理がボトルネックとなる課題に対し、 Nexdataはグローバルでの収集実績に基づき、ハードウェア調達から実機検証までを一貫して支援する体制を整えています。AI開発の課題に合わせて、最適なデータセットとソリューションをご活用いただければと思います。

■ 背景：実環境データ収集における技術的なハードル

Physical AI研究において、単一のデータソースに依存するのではなく、General Data、Simulation Data、Ego Data、UMI Data、Robot Dataといった多階層のデータを組み合わせた「データレシピ」を構築することが、汎用性の高いアルゴリズムを学習させる有効な手段として注目されています。

画像出典：arXiv:2607.24744v1

各階層のデータは量、多様性、収集コスト、フォーマットが大きく異なります。特にEgo-centricデータにおける複数センサー間の厳密な同期や、UMI・実機データとのパイプライン統合など自社で整備・前処理することは、開発リソースの観点から極めて困難です。

NexdataはフィジカルAI分野においてグローバル規模でのデータ収集・提供実績を有しております。これまでに蓄積した膨大なデータセットをグローバルの企業・研究機関へ提供してまいりました。さらに、テレオペレーション、UMI（Universal Manipulation Interface）、Ego-centric（一人称視点）といった多様な収集方式に対応してます。映像データに加え、動作軌跡や力覚情報、位置情報など複数のモダリティを同期させた高精度なデータ納品を実現しています。

これらの知見と収集インフラを活かし、お引き合いいただいた技術要件に適合したデータセットの提供から、収集機器の調達、実機を用いた検証まで、ワンストップでサポートする体制を整えております。

■ 新規データセット：技術要件に適合したEgo-centricデータ

今回リリースするデータセットはマルチビュー幾何学、全身運動学（Whole-body control）、Sim2Realなどの研究テーマにそのまま適用できるよう設計されています。

①1,000時間 PICO収集データセット

微細なマニピュレーション学習に必要な全身の協調動作データと高いパイプライン互換性を提供します。

項目	内容
収集機器	PICO 4 Ultraヘッドマウント型ステレオデバイス、5台のIMUトラッカー、両手首アクションカメラ
収集環境	家庭、オフィス、商業施設など7分類のシーンを網羅
データ構成	時空間アライメント済みのステレオ動画、エゴセントリックポーズ、全身骨格キーポイント、ジェスチャー、再構築シーン。タスク単位での分割と動作記述済み
フォーマット	LeRobot標準フォーマットに準拠しており、既存の学習パイプラインへの直接的な組み込みが可能。

データサンプル

② 1,000本 6カメラEgo-centricデータ

マルチカメラを用いた3D再構築やSLAM研究において必要となる厳密な時間同期と空間情報を提供します。

項目	内容
同期仕様	6台のカメラをハードウェアトリガーにより同期露光（時間差 ≤1ms）を実現
収集環境	家庭、オフィス、リフォーム現場、小売店舗、学校、倉庫の6分類、計34カ所（各クリップ約35秒、計1,042セグメント）
データ構成	RGB 60fps (1600x1200)、モノクロ魚眼 30fps (640x480) の6系統動画に加え、キャリブレーション情報、点群データ、自社開発VSLAMによるミリ単位位置推定軌跡、ジェスチャー認識結果を包含

データ詳細・サンプルを見る

■ その他の既製品データセット

上記に加え、基礎モデル構築からシミュレーションまで、以下のデータセットも提供可能です。

13.5万時間 Ego-centricデータセット

動画、IMU、SLAM/深度、手部キーポイント、サブタスクアノテーションの5層構造。家庭から産業まで多様なシーンに対応しています。

15万セット ハンド器用操作データ

多指ハンドの把持・回転動作。RGB-Dデータに関節状態および力/トルクフィードバック情報が含まれます。

サンプルデータ

11.6万セット 3Dハンドジェスチャーデータ

深度、マスク画像、3Dキーポイントを完全同期。手部3D再構築やキーポイント検出タスクに対応しています。

2.88億セット 3Dモデルおよびシーンデータ

Sim2Realやデジタルツイン構築用の屋内外3D環境データベース。

■ NexdataのフィジカルAIデータ支援体制

データ提供に加え、以下のインフラを用いて実装フェーズまでを支援します。

フィジカルAI専用データ収集工場

8,000㎡の施設にて、ヒューマノイド、双腕、四足など300体超のロボットを常時稼働。UMIやテレオペレーションを活用し、月間5,000時間規模の収集に対応可能です。

Scan to simデータ作成サービス

現実世界の空間データを3Dスキャン装置で収集・構築し、フィジカルAIの学習・検証に最適な高忠実度シミュレーション空間を作成します。AIの開発から実世界へのスムーズな適用まで、ワンストップで支援します。

VLA・VTLA特化アノテーション

マルチモーダルデータの完全同期と、動作意図の言語化など、Vision-Language-Actionモデルに最適化されたアノテーションを実施します。

フィジカルAIモデルテスト検証支援

人型・双腕ロボットおよび高性能GPUサーバーを完備。現実世界およびシミュレーション環境におけるテスト実施から、結果のフィードバックまで一貫してサポートし、AI モデルの開発・検証を加速します。

「家庭環境に即したデータ収集」や「自社工場・倉庫におけるピッキングおよびエラー回復動作の記録」など、特定のドメインやタスクに特化したデータ収集ニーズにも対応いたします。ハードウェア選定や特殊なセンサー同期に関する技術的なご相談も受け付けております。

Physical AIの開発・実装フェーズにおけるデータ課題の解決についてご相談をご希望される場合は、下記お問い合わせ先までご連絡ください。

お問い合わせはこちら

Datatang株式会社について

社　名 ： データ・タング株式会社（Datatang株式会社）

ブランド名：Nexdata（ネクスデータ）

所在地 ： 東京都千代田区神田淡路町2-105ワテラスアネックス6階

設　立 ： 2020年2月

資本金 ： 5000万円

事業概要：AI学習データ提供事業（自社データ・カスタマイズデータ）

　　　　　AI学習データの収集・アノテーション ・プラットフォーム提供事業

URL 　： https://nexdata.jp/