ソニー・ミュージックソリューションズ、ソニーセミコンダクタソリューションズ 共同事業 バーチャルワールドがまた一歩、「リアル」に近づく最新テクノロジー『ToF AR Pro』 SDKライセンス販売開始
深度情報によるマッピングでアバターの全身から手指までのリアルなジェスチャーコンロトールを実現消費電力、発熱を抑え、スマートフォンアプリへの実装を可能に
公式サイトは2024年４月より詳細情報を提供
株式会社ソニー・ミュージックソリューションズ（本社:東京都港区、代表取締役:大谷英彦、以下SMS）は、ソニーセミコンダクタソリューションズ株式会社（本社：神奈川県厚木市、代表取締役社長兼CEO：清水照士、以下SSS）が開発をした、『ToF AR Pro』SDK （Software Development Kit、以下SDK）のライセンス販売を開始いたします。
■距離情報が取得できるセンサーを使って、身近にあるスマートフォンで、今までにない体験を届けたい
スマートフォン向けソフト開発キット『ToF AR Pro』とは
“ToF”とは、Time of Flight（飛行時間）の略で、文字通り光の飛行時間を用いる方式。光を飛ばして反射して返ってくるまでの時間を測ることで、物体までの深度情報、いわゆる「奥行き」を取得することができる技術で、現在は主に自動車の自動運転や工場の自動化などで使われています。
この技術を身近なツールであるスマートフォン向けXRに応用いただくことで、これまでにない体験を届けたい。そんな思いから、SSSが開発したのが、『ToF AR Pro』SDKです。
『ToF AR Pro』は、スマートフォン搭載の距離情報が取得できるセンサーの情報と独自のAI処理技術により、仮想空間オブジェクトのリアルな深度情報によるマッピングや、全身、上半身、手、指までの関節の認識により、正確なジェスチャートラッキングでアバターコントロールを実現することができます。特にハンドトラッキングは非常になめらかで、位置や指の向きなど操作者の動きの特徴を捉え、かつ3次元的に再現可能。操作が簡単でアバターの動きにリアル感が出るといったメリットだけでなく、ジェスチャーを使ったゲームやエフェクトなど、これまでにない演出やアイディアをアプリ開発に活かせるようになります。
距離情報が取得できるセンサーの情報は、太陽や照明、服の色など、周囲の環境の影響を受けません。取得する情報量を通常のイメージセンサーよりも少なくし、比較的シンプルなAI処理で高精度な認識を可能にしたことで、消費電力や発熱を小さくすることを実現。これにより、スマートフォンへの活用を実現しました。
『ToF AR Pro』を、XRやゲーム、メタバースアプリなどの開発にご活用いただき、バーチャルワールドの新たな扉を開いてみてはいかがでしょう。また、深度情報が身近な世界になることで、新しいコミュニケーションや医療・教育など、これまでにない分野での活用が実現できることを期待しております。
■『ToF AR Pro』の特徴
１．進化した深度情報によるマッピング
ToF AR Proの進化した深度情報によるマッピングは、仮想空間オブジェクトのディテールや位置をより正確にキャプチャーし、仮想空間のリアリティを向上させます。
２．ハンドトラッキング
上半身、手、指の関節の位置を認識してトラッキングすることができます。上半身を認識することで、手がカメラ映像外でも認識でき、アバターの制御や上半身認識を追跡することが可能です。
３．Unityで開発可能
UnityにToF AR Pro SDKを組み込み、距離情報が取得できるセンサーを使ったモバイルXRアプリを簡単に開発できます。ゲームやアプリ開発、映像の制作などのエンタテインメント領域で、幅広く活用できます。
■『ToF AR Pro』で実現するバーチャルワールド
１．着席状態の上半身を利用して3Dアバターの直観的操作が可能に！
２．スマホ1台で超手軽＆高精度な顔・手・指・上半身のモーションキャプチャーができる！
３．ジェスチャー認識で手指の動きや形状により操作やエフェクト発生も！
＜ 『ToF AR Pro』 概要＞
基本機能 | 平面検出／ポイントクラウド／メッシュ（Depth+SLAM）／ ヒューマンセグメンテーション＆オクルージョン／ デプスマップの取得 |
高精度な3Dハンドトラッキング | ハンドジョイントトラッキング／ハンドポーズ認識／ ハンドジェスチャー検出／両手のポーズ認識／ 両手のハンドジェスチャー検出 |
高精度な 3D上半身トラッキング | Humanoidモデル制御／上半身トラッキング |
高精度な3D全身トラッキング | 全身トラッキング |
表情制御 | パーフェクトシンク未対応モデルにもArkitの52Blend Shapeから VRMの表情制御 |
＜『ToF AR Pro』の詳細情報は下記よりご確認ください＞
●SMSコーポレートWEBサイト内『ToF AR』紹介ページ
https://sonymusicsolutions.co.jp/s/sms/diary/detail/751?ima=000
●『ToF AR』公式サイト
=======================================
【株式会社ソニー・ミュージックソリューションズ】
ソニーミュージックグループのソリューション事業を統合した、すべての壁を越えてひとつの「コト」に当たるプロフェッショナル集団。アーティストやクリエイター、エンタテインメント業界はじめ、すべてのクライアントの夢や要望を実現し、ビジネスを拡大するための「解決方法」を提供しています。
公式サイト：https://www.sonymusicsolutions.co.jp/
【株式会社ソニーセミコンダクタソリューションズ】
ソニーセミコンダクタソリューションズ株式会社は、ソニーグループ株式会社の100％子会社であり、イメージセンサーを中心に、各種LSI、レーザー、ディスプレイデバイスを含む半導体デバイス事業を展開するイメージセンサーのリーディングカンパニーです。個人の生活に利便性や楽しみを提供するための進化したイメージング技術に加えて、新たなセンシング技術を開発・導入することで、人や機械の視覚・認識機能を究極に高める様々なソリューションの展開に取り組んでいます。
このプレスリリースには、メディア関係者向けの情報があります
メディアユーザー登録を行うと、企業担当者の連絡先や、イベント・記者会見の情報など様々な特記情報を閲覧できます。※内容はプレスリリースにより異なります。
すべての画像