デジタルハリウッド大学院「インタラクティブ・リアルタイム・コンテンツラボ」 × 株式会社インテグラルヴィジョン　人の感情をコンテンツに反映させる「CrossReality」システムを共同開発

デジタルハリウッド大学大学院の「インタラクティブ・リアルタイム・コンテンツラボ」は、株式会社インテグラルヴィジョンと共同で、人の感情をフィジカルセンサーでセンシングし、感情でデジタルコンテンツをリアルタイムに制御することができる「CrossReality」システムを開発しました。

　日本初の株式会社による専門職大学院、デジタルハリウッド大学大学院の「インタラクティブ・リアルタイム・コンテンツラボ」は、株式会社インテグラルヴィジョンと共同で、人の感情をフィジカルセンサーでセンシングし、感情でデジタルコンテンツをリアルタイムに制御することができる「CrossReality」システムを開発しました。

　また、同システムを応用し、ダンサーの感情をセンシングし、その感情により映像をドラマチックに変化させる「conflict ～黒白～（kokuhaku）」（演出、馬場隆之）を共同で制作、2012年11月23日（金）に、ランドマークホール（神奈川県横浜市西区みなとみらい）において実演展示しました。

■「conflict ～黒白～（kokuhaku）」とは
『黒と白、光と影、相反するモノでありながら、それは表裏一体で切り離す事が出来ない、そこで生まれる葛藤を
感情のエネルギーのやり取りをビジュアル化する』をコンセプトに、ダンスパフォーマンスとデジタルコンテンツ
を組み合わせたアート作品として制作されました。
プロジェクタ4台分におよぶ横15メートルの壁の両端に、黒と白を象徴する、ダンサー2名を配置。ダンサーの
動きに合わせて、FullHD2枚分のクオリティの画像を左右に走らせます。ダンサーの感情を、「感情センサ」に
よりセンシングし、ダンサーの感情の激しさに応じて、内容やスピードが自動的に調整された映像が再生されます。
そのため、二人のダンサーの葛藤によりうまれる感情のエネルギーが、まさにビジュアル化されスクリーン上に
表現されます。

　さらに、AR（拡張現実感）技術により、映像にiPadをかざすと、iPadのカメラ画像を通して、ダンサーに、
ビジュアルエフェクトが3次元的に重なり合って見えるようにより、さらに背景の映像をあいまって、奥行き感
のある立体的な美しい演出を楽しむことができるようになります。

■CrossRealityシステムとは
CrossRealityシステムは、現実と仮想現実、人とマシーンを高次元で融合するような次世代のデジタルコンテンツ
を構築するためのプラットフォームです。デジタルハリウッド大学院IRCラボ（2012年）において、研究開発
されました。

CrossRealityシステムでは、
・プロジェクションマッピングの技術を応用した映像投影技術
・投影した映像をスマートフォン、もしくは、タブレットのカメラでかざすことにより、現実世界にないものを
　カメラ画像に重ね合わせて表示するAR（拡張現実感）技術
・ユーザアクションをフィジカルセンサーでセンシングし、コンテンツに反映する技術

の3つの技術を高度に統合したコンテンツを作成することが可能です。
現実空間と仮想世界を、多重に連携させ、コンテンツに人が参加している感覚を増幅させることにより、
コンテンツ価値を高めること目標としています。

さらに、今回のコンテンツ制作においては、IV社の技術協力により、人の感情（エモーション）をとらえて、
それをコンテンツに反映させる統合センサ技術「SEMS」（感情センサ）を組み合わせ、ダンサーの感情を映像に
反映させることに成功しました。
「SEMS」は、IVが独自に開発した人感センサとマイクロソフト社のKinectセンサを組み合わせ、人の挙動や動き
の強弱を緻密にとらえ、それを感情の量へ変換することができます。その量をCrossRealityシステムに組み込むこと
により、デジタルコンテンツを、感情でコントロールすることが可能となっています。

また、CrossRealityのコアシステムには、汎用ゲームエンジンである「Unity」（UnityTechnologiesJapan G.K.：東京都
港区）を採用しました。
Unityの、リアルタイム性能、CG描画性能、そしてそのシンプルで強力なコンテンツ開発環境は、高度なインタラク
ティブ性能が必要とされるCrossRealityシステムの研究開発に貢献しています。

■制作スタッフ
　・総合演出・アートディレクション
　　　馬場 隆之（株式会社インテグラルヴィジョン）
　・プロジェクトマネジメント
　　　浅田 真理（デジタルハリウッド大学大学院　IRCラボ）
　・ダンサー
　　　永井 美里
　　　関谷 夏代
　・映像制作
　　Nick Blackcat（デジタルハリウッド東京本校CGA2年生コース）
　　ハヌマ ヒサキ（デジタルハリウッド東京本校CGA秋本科コース）
　・効果音
　　　kaginone(岡 篤郎、安田 健児)
　　・衣装・メイク
　　　矢田 綾香
・技術協力
　　飯塚 洋介（株式会社インテグラルヴィジョン）
・システム開発
　デジタルハリウッド大学大学院　IRCラボ
　　香田 夏雄（IRCラボ主催、専任准教授）、
　　文谷 修、橋本 裕、園田 将之、田場 久美子、桑原 謙介、吉田 勝也、北野 雄一
　　中村 伸広、晴山 敬、池淵 智美、周岩、Petar Tasev、Suesh Shah、辛康

■機材協力
　パンダスタジオ様に、超短焦点で照射を行うことができるプロジェクタ4台、さらに、それら4台のプロジェクタの
　画像が、連続的に見えるように映像を再加工し送出するビデオプロセッサを、レンタルさせていただきました。

　・パンダスタジオ
　　株式会社キバンインターナショナル（東京都千代田区、代表取締役　西村正宏）
　　http://pandastudio.tv/
　・超短焦点プロジェクタ　VPL-535（ソニー製）
　・ビデオプロセッサ　C3-540 CORIOmaster（TV One製）

■「conflict ～黒白～（kokuhaku）」、「CrossReality」システム、「SEMS」センサーに関するお問い合わせ

株式会社インテグラルヴィジョン　馬場隆之
東京都新宿区西新宿8-5-2コーリン新宿ビル2F
TEL：[phone]
mail: [e-mail]
http://www.integral-vision.net/inc/index.html