世界最大のCG・インタラクティブ技術のトップカンファレンス「ACM SIGGRAPH2023」｜白井暁彦教授と学部生のメタバース関連研究がPostersで採択、発表｜デジタルハリウッド大学大学院

21世紀からの超高度情報化社会において、デジタルコミュニケーションを駆使して、社会に対する「変革」を起こす人材を輩出するために設立された社会人のための専門職大学院であるデジタルハリウッド大学大学院（東京都千代田区、学長：杉山知之）では、白井暁彦客員教授が所属する、グリーグループでメタバース事業を推進するREALITY株式会社が中心となり、2023年8月6日～10日にアメリカ・ロサンゼルスで開催された世界最大のCG・インタラクティブ技術のトップカンファレンス「ACM SIGGRAPH2023」において、デジタルハリウッド大学の学生・教員が実施したメタバース関連研究がPostersで採択され、発表を行いました。

• 題名：『メタバースUGCのためのAI支援アバターファッションショーWord-to-Clothingテクスチャ探索とモーション生成（AI-Assisted Avatar Fashion Show　Word-to-Clothing Texture Exploration and Motion Synthesis for Metaverse UGC』

  著者：Kai Kohyama, Alexandre Berthault, Takuma Kato, Akihiko Shirai

  カテゴリー：Augmented & Virtual Reality

  https://s2023.siggraph.org/presentation/?id=pos_165&sess=sess368

REALITY株式会社の研究チームは生成AI時代の研究開発成果としてアバターファッションショー体験VRデモプロジェクト 「Metaverse Mode Maker」を発表しました。

 

MMMとは、メタバース分野で重要度が高まり続けているUGC (User-Generated Content) に焦点を当て、生成AIを活用することでHMDを装着したまま手軽に高品質なUGCを作成することを目的としたPoC (概念実証)プロジェクトです。

 

https://www.youtube.com/watch?v=Cyy903CjbKY

 

ファッションショーのランウェイをモチーフとしており、ユーザーが体験の中で服テクスチャとモーションを作成することで、それらを組み合わせたランウェイシーンがYouTube LIVEを介してリアルタイムに配信されます。

 

この概念実証プロジェクトでは、メタバースにおけるVR体験において、新しいユーザー生成コンテンツ（UGC）手法を提案しています。

 

AIによるWordToClothingのテクスチャ生成と、AI-Fusionによる品質保証された振り付けシステムにより、HMDを装着した人々がオリジナリティと価値を持つことを可能にしました。評価として、フランスLaval Virtual 2023での一般公開展示を通したデータ収集と、5日間の展示で174以上の作品が生成され、YouTubeでライブ共有されています。

 

グリーグループでメタバース事業を推進するREALITY株式会社が中心となり、本学からは共著者のうち、白井暁彦（大学院 客員教授）と、加藤琢磨（学部3年生）がインターンとして参加しております。

研究成果のうち、キャラクターアニメーションのデータ量を最大94％圧縮する「Muscle Compressor」という手法がACM SIGGRAPH2023というCG・インタラクティブ技術のトップカンファレンスにおいてポスター発表され、8月23日～25日にパシフィコ横浜ノースで開催された、ゲーム開発者会議CEDEC2023

においてもインタラクティブ発表がおこなわれました。

 

成果の一部はGitHub（https://github.com/gree/MuscleCompressor）においてオープンソースで公開されています。ぜひご覧ください。

 

関連情報：

https://vr.gree.net/lab/uxdev/mmm

https://cedec.cesa.or.jp/2023/session/detail/s6429e7879ec39

https://note.com/reality_eng/n/nbcd91e5cf543

https://note.com/o_ob/n/n3f3341628858

■白井 暁彦 客員教授

デジタルハリウッド大学大学院担当科目：テクノロジー特論D（人工現実）、研究実践科目（ラボプロジェクト）「超メタバース・エンターテイメント・ラボ」

REALITY株式会社でメタバース時代のUXを研究開発する「GREE VR Studio Laboratory」ディレクター。VRエンタメの研究者・クリエイターとして長い経験を持つ博士（工学・東京工業大学）。日本バーチャルリアリティ学会評議員。芸術科学会副会長。

書籍「白井博士の未来のゲームデザイン」（2013年・オーム社刊）、「白井博士の未来のゲームデザイン - エンターテインメントシステムの科学」（2013年・ワークスコーポレーション刊）で未来予測を書き綴り、「創る人を創る」をモットーに活動する。ゲーム開発者・放送技術・フランスでのVR地域振興・日本科学未来館科学コミュニケーター・デジタルハリウッド大学大学院客員教授などVRエンタメの研究開発・産業・体験・SNSなど多様な活動を行う。

2018年よりグリーグループのライブエンターテイメント分野への事業拡大からWright Flyers Live Entertainmentの立ち上げ、および「REALITY」を開発運営するメタバース企業 REALITY株式会社の立ち上げに参加する。国際レベルで重要となる知財開発や学術的挑戦、PoC/UX開発と発信、オープンソースソフトウェアや日本語コミュニティへの貢献、人材発掘/開発を担当。またB2B向けメタバースソリューション「REALITY XR cloud」を通して企業・公共向けのコンサルテーションなどを行っている。

【デジタルハリウッド大学大学院について】

日本初の株式会社立の専門職大学院として 2004 年に開学。

超高度情報化社会においてデジタルコミュニケーションを駆使し、社会に変革を起こすリーダーを輩出すべく、創発的学究領域 SEAD（Science／Engineering／Art／Design）の4要素をバランス良く身につけ融合し、理論と実務を架橋する人材育成を行う。新規事業プランニングとプロトタイピングなど、院生のアイデアの実装およびスタートアップ支援により、「令和3年度大学発ベンチャー調査」（経済産業省）では全国大学中12位、私立大学中4位となっており、多数の起業家を輩出している。

 

URL：https://gs.dhw.ac.jp/

 

本大学院では、本学在籍の院生・修了生の起業・事業支援に注力しております。デジタルコミュニケーション領域での産学協同研究にご興味をお持ちの方、本学への入学を検討されている方、また企業の皆様は下記よりお気軽にお問合せください。