stuは生成AIを活用したAI動画生成イテレーションシステム「SyncFlow AI」を開発　千葉県誕生150周年記念『en Live Art Performance』に技術提供

「SyncFlow AI」により、クリエイターのイマジネーションの実現をサポートします。

株式会社stu

2023年12月20日 11時00分

「エンターテインメントの再発明」をミッションに掲げる株式会社stu（本社：東京都渋谷区、CEO：黒田貴泰）は、生成AIを用いたAI動画生成イテレーションシステム「SyncFlow AI」の開発をお知らせします。本技術は千葉県誕生150周年記念に開催された『百年後芸術祭-内房総アートフェス-』において、メインコンテンツとして公演されたライブアートパフォーマンス『en Live Art Performance』に活用されております。

ライブアートパフォーマンス『en Live Art Performance』の様子

　近年において、AIは幅広い分野での発展と実用化が期待されています。stuではAI・機械学習の研究開発に取り組んでおり、映像制作のプロダクション行程のDX化や、AIを用いた新しい体験の提供などを目指しています。その一環として、この度生成AIを活用した映像制作のワークフロー効率化や表現の幅を拡げるためのシステム、「SyncFlow AI」を開発いたしました。映像制作工程に生成AIを効率的に取り入れることが可能になり、1時間を超える長尺映像制作において、生成AI動画の制作を実現しました。

・AI動画生成イテレーションシステム「SyncFlow AI」の主な特徴

　AI動画生成イテレーションシステム「SyncFlow AI」は生成AIによる動画生成と、制作ワークフローが統合されている点が特徴です。効果的に生成AIを活用するため、既に制作現場で活用されているFrame.io、Dropbox、Slackといった業務アプリケーションと連携。動画生成完了後に即座に通知が届くため、待機時間を無くす事ができます。

　加えて、日常的に使用している業務ツールを使用してコミュニケーションコストを減らすことや、パラメーターの自動保存により過去の生成を再現することが容易となり、管理コストを下げることができるため、制作全体のリードタイムを最小限とした円滑なイテレーションを支援することが可能です。

　本システムを応用することで、AIで生成する映像・画像・音声などあらゆるAI生成データの効率の良いワークフローへの組込が可能となり、実業務へのAI導入をサポートいたします。

・オブジェクトの動きをコントロールしやすいモーフィング動画生成手法の開発

（左 : 「SyncFlow AI」に提供した指示動画　右 : 「SyncFlow AI」により生成されたモーフィング動画）

　生成AIによる従来のモーフィング映像生成には「モーフィングの変化量を増やし魅力的なアウトプットを求めると、映像内のオブジェクトの動きをコントロール出来なくなる」という性質があります。そのため、クリエイターの意向を反映できないケースも多く、映像制作工程に取り入れにくいという課題がありました。

　「SyncFlow AI」ではモーフィングの変化量を増やしても、映像内のオブジェクトの動きをコントロールできる手法を独自に開発いたしました。指示動画となる動画素材を与えることで、その動画の動きや形状・色味を参照しながらモーフィングを生成します。この手法により、これまで以上にクリエイターの意向を反映しやすくなり、映像制作工程にも取り入れやすくしました。

　サンプル動画では、水の映像を指示動画として使用しています。この動画の動きや色味をもとに、花の動画を生成します。

ライブアートパフォーマンス『en Live Art Performance』とは

　千葉県誕生150周年記念事業の一環として、内房総5市が連携し、アート、クリエイティブ、テクノロジーを融合した、百年後の新しい未来を創っていくための芸術祭『百年後芸術祭‐内房総アートフェス‐』が2023年11月5日（日）に開催されました。

　『en Live Art Performance』はそのメインコンテンツとして公演された、音楽・映像・ダンス・光とテクノロジーを融合させた、ライブアートパフォーマンスです。

　本公演の映像演出において、映像作家柿本ケンサク氏の監督のもと「SyncFlow AI」を活用し、生成AIモーフィング映像を提供いたしました。

　現在『en Live Art Performance』は公演終了しておりますが、品川キヤノンギャラリーSにて、本作品の写真展示会を開催しております。

柿本ケンサク写真展『As is』

2023年11月24日（金）～2024年1月15日（月）

キヤノンギャラリー　品川S

https://canon.jp/personal/experience/gallery/archive/kakimoto-50th-sinagawa

stuのAI・機械学習の研究開発

　stuでは、エンターテイメント領域でのAI・機械学習の研究開発に取り組んでおり、映像制作のプロダクション行程のDX化や、AIを用いた新しい体験の提供などを目指しています。これまでの事例として、AI生成技術を用いたリアルタイム参加型バーチャルライブツール『LAIV(ライヴ)』のプロトタイプを開発し、アーティストと参加者による双方向演出を可能とする新たなVRライブ体験を提供したり、AIを活用した任意の動くオブジェクトを自動マスク生成する技術と自動シーン検出技術を兼ね合わせた「Scene Tracking Mask」を活用し、映像作家柿本ケンサク氏のショートフィルム作品『トノムラ』への技術提供などがあります。

今後も企業や、さまざまなプロジェクトへの技術提供に積極的に取り組んでまいります。

■株式会社stuについて

　stuは、「エンターテインメントの再発明」をミッションに掲げ、ボーダーレスなアイデアを創出するクリエイティブチームを中心に、5G、XR、メタバース領域のエッジテック事業と、ライターズルームやプレビズといった世界基準の映像制作ワークフローを導入したコンテンツ開発事業を掛け合わせ、エンターテインメントの新時代を創造する企業です。