ACESとバンダイナムコ研究所が研究開発用モーションデータセットに関する論文を公開

モーションAI技術のさらなる研究発展を目指す

リアル産業のDXを目指す東大松尾研発のAIスタートアップである株式会社ACES（東京都文京区、代表取締役 田村 浩一郎、以下「ACES」）は、株式会社バンダイナムコ研究所（本社：東京都江東区、代表取締役社長：内山大輔、以下：バンダイナムコ研究所）とAI を用いたキャラクターのモーション生成に関する研究開発を目的にプロジェクトを行っております。この度プロジェクトの研究成果の一つとして、モーションAIの実活用に役立つモーションキャプチャデータセットに関する論文『Motion Capture Dataset for Practical Use of AI-based Motion Editing and Stylization』を公開しました。
論文：https://arxiv.org/abs/2306.08861

■ 背景

昨今のバーチャルキャラクター市場の拡大に伴い、キャラクターの属性や場面に応じた自然で多様なキャラクターモーションの作成需要が高まっています。また、バーチャル世界で「なりたい自分」を実現するためにも、演者の属性にとらわれずモーションを作成する技術は重要です。バンダイナムコ研究所とACESは、メタバース及びxR技術での活用を目指し、AI技術である「モーションスタイル変換（Motion Style Transfer）」を用いて、より多様なキャラクターモーションの生成を手軽に行うための研究開発を2022年１月より実施しています。

「モーションスタイル変換」とは、モーションを動作の内容を表す「コンテンツ」（例：歩く）と動作のニュアンスを表す「スタイル」（例：楽しそうに）に分解し、2つのモーションをかけ合わせた時に、一方のモーションの「コンテンツ」を維持し、もう一方のモーションの「スタイル」を反映した新しいモーション（例：楽しそうに歩く）を作成する技術のことを指します。

■ 論文について

今回公開した論文『Motion Capture Dataset for Practical Use of AI-based Motion Editing and Stylization』は、本研究開発プロジェクトの成果として、ACESおよびバンダイナムコ研究所のエンジニア/リサーチャーが執筆、投稿したものです。

本論文で提案された、モーションAIの実活用に役立つモーションキャプチャデータセットは、モーションスタイル変換タスクの学習・評価での利用を中心に、モーション生成などモーションに関連する多様なタスクを解くAIの研究開発においてご活用いただけます。

論文では、研究用途で利用可能であり、基本的なモーションを収録したモーションデータセットを提案し、収録意図や収集方法を説明し他の既存のモーションデータセットと比較しています。また、実際に提案データセットを用いてモーションスタイル変換モデルを学習し変換結果を確認することで、提案データセットのモーションスタイル変換タスクへの適合性を示しています。さらに、商用利用可能であり、より実用的なモーションを収録したエモートモーションデータセットも提案しています。

本データセットを用いて、様々なキャラクターにモーションスタイル変換を施した例（一番上はミライ小町への適用例）

▼論文情報

タイトル：Motion Capture Dataset for Practical Use of AI-based Motion Editing and Stylization

著者：Makito Kobayashi, Chen-Chieh Liao, Keito Inoue, Sentaro Yojima, Masafumi Takahashi

URL：https://arxiv.org/abs/2306.08861

■ モーションデータセットの公開・販売について

ACESとバンダイナムコ研究所は、本論文で紹介したモーションキャプチャのデータセットをGitHub上に公開しており、研究用途であればご利用いただけます。

URL：https://github.com/BandaiNamcoResearchInc/Bandai-Namco-Research-Motiondataset

また、商用利用可能であり、より実用的なモーションを収録したエモートモーションデータセットを、研究開発に取り組む企業や研究所の研究員の方向けに販売しております。総計1,475,826フレームのデータが含まれており、主にAI技術の研究開発での利用を想定していますが、3Dアニメーション制作やゲーム開発にもご利用いただけます。

データセット販売に関する詳細は、以下リンク先からご覧ください。

URL：https://acesinc.co.jp/projects/project-1760

■株式会社ACES 会社概要

東京大学松尾研発のAIスタートアップである株式会社ACESは、ヒトの認識・解析を行うHuman Sensing(ヒューマンセンシング)技術をはじめとした画像・映像解析のAIアルゴリズムを用いて、ヒトの知見を数式化し、リアル産業のDXを推進しています。AIアルゴリズムを事業価値に落とし込むデザイン力をコアコンピタンスとして、クライアント様と二人三脚でDXに取り組むDXパートナー事業、自社アルゴリズムを組み込んだソフトウェアを提供するアルゴリズムソフトウェア事業を行っております。

代表者：代表取締役 田村 浩一郎

所在地：東京都文京区湯島２丁目３１−１４ ファーストジェネシスビル 3階

設立：2017年

事業内容：DXパートナー事業、AIソフトウェア事業

コーポレートサイト：https://acesinc.co.jp

ACES Meetサービスサイト：https://meet.acesinc.co.jp/

採用サイト：https://acesinc.co.jp/recruit.html

お問合せ先：[e-mail]

■株式会バンダイナムコ研究所概要

バンダイナムコ研究所は、ゲーム・映像・ライブ・施設など、バンダイナムコグループが手掛けるさまざまな事業領域におけるエンターテインメント制作過程で培った知見やノウハウを礎に、AIやxR、IoTなどの最先端技術を掛け合わせることで『感動を生む技術、新しい価値』を創出する「エンターテインメント エンジニア集団」です。

URL：https://www.bandainamco-mirai.com/

バンダイナムコ研究所モーションデータセット（無償版）：https://github.com/BandaiNamcoResearchInc/Bandai-Namco-Research-Motiondataset