stuはAIによる自動マスク生成技術『Scene Tracking Mask』を開発　前田敦子・工藤阿須加出演のショートフィルム「トノムラ」に技術提供

映像制作ワークフローを効率化し、映像表現の可能性を拡げるAI技術

「エンターテインメントの再発明」をミッションに掲げる株式会社stu（本社：東京都渋谷区、CEO：黒田貴泰）は、AIを用いた独自の自動マスク生成技術『Scene Tracking Mask』（以下「本技術」）を新たに開発し、映像作家の柿本ケンサクによる新作ショートフィルム「トノムラ」に技術提供。従来できなかった映像表現を実現しました。

　近年において、AIは幅広い分野での発展と実用化が期待されていますが、stuではAI・機械学習の研究開発に取り組んでおり、映像制作のプロダクション行程のDX化や、AIを用いた新しい体験の提供などを目指しています。その一貫として、この度stuでは、映像制作のワークフロー効率化や表現の幅を拡げることを目的として、本技術を開発しました。

　映像編集のワークフローの中でも、特定の範囲を選択して範囲内の映像を編集する「マスク」の作成は時間と手間を要する作業です。映像では静止画に比べてマスク生成を自動化することは技術的に難しい側面がありましたが、近年では技術の進化により、映像内の人物を検出するAIによる自動マスク生成技術が実用化されています。一方、人物以外の任意のオブジェクトに対するAIによる自動マスク生成技術は、映像制作のニーズに対応した高性能なものが普及していないという状況があります。stuでは、映像制作のワークフローを綿密に検証し、映像制作の現場におけるニーズに応えるAIマスク生成技術として本技術を開発しました。これにより、AIを活用して任意のオブジェクトに対して高性能なマスクを生成することが可能となります。

　本技術を使うことで、映像内の任意のオブジェクトを選択し、誰でも簡単な操作でマスク範囲を選択することができます。対象オブジェクトが動いている場合でもマスク範囲が追従する。これまで1フレームに対してマスクを選択していた作業を大幅に削減することができます。さらに、AIを活用することで映像のシーン分割の自動化も実現しています。動画の変わり目を自動で検出して各シーン毎に分割することができるため、シーンの変わり目を探す作業を短縮することができます。本技術を使うことで、人的リソースと作業時間を圧倒的に削減し、映像制作ワークフローの効率化および省人化に貢献します。

　映像作家の柿本ケンサク氏によるショートフィルム「トノムラ」においては、本技術を活用して作品の重要なモチーフとなるオブジェクトのマスク生成を行いました。手作業でのマスク生成では時間とコストにより実現が極めて難しかったところ、実稼働2日間という短期間で達成。映像作家が思い描いた通りの表現を実現し、作品作りに貢献しました。映像制作ワークフローを自動化する効率化とともに、従来の方法では実現が難しかった新たな映像表現の可能性を拡げます。

　今後はさらに本技術を進化させるとともに、映像制作ワークフローを効率化し、映像表現の可能性を拡げるAIの活用を模索しながら研究、開発を推進してまいります。stuはこれからもAIをはじめとして、あらゆるテクノロジーを通じてエンターテインメントの再発明を実現してまいります。

「Scene Tracking Mask」主な特徴

• 任意のオブジェクトへの自動マスク生成

  　オブジェクトを点で選択するだけでAIがマスクを自動生成

• 動く被写体に対する自動マスク生成

  　選択したオブジェクトの動きをAIで解析し、マスクを自動生成

• 映像におけるシーンの自動検出
  　カメラワークが切り替わる箇所をAIで自動検知

ショートフィルム「トノムラ」とは

　「トノムラ」は、TVCM、MV、映画など多岐に渡る作品を生み出してきた映像作家、柿本ケンサク氏によるショートフィルム。"時間"をテーマに繰り広げられる一風変わった日常の会話劇となっています。

ストーリー
　『あなたはトノムラです』というテロップから始まり、最後にはある問いかけが現れる。あなたはその答えに辿り着くだろうか？半ば子ども遊びのような仕掛けだが、答えに辿り着かなかった人は、きっと、もう一度『トノムラ』になって作品の中へ答えを探しに出かけたくなるだろう？一度で見たら、もう一度見たくなる仕掛けが盛り込まれている。

　出演：前田敦子、工藤阿須加、高田里穂など
　監督／脚本／撮影：柿本ケンサク
　HP：http://tonomura.girly.jp/
　Youtube：https://www.youtube.com/watch?v=7N1uZUjUfEc

• 株式会社stuについて　

　stuは、「エンターテインメントの再発明」をミッションに掲げ、ボーダーレスなアイデアを創出するクリエイティブチームを中心に、5G、XR、メタバース領域のエッジテック事業と、ライターズルームやプレビズといった世界基準の映像制作ワークフローを導入したコンテンツ開発事業を掛け合わせ、エンターテインメントの新時代を創造する企業です。

自動マスク生成技術『Scene Tracking Mask』に対するお問い合わせはstuにご連絡ください。

　・お問い合わせ： [e-mail]

　・公式X(旧Twitter) ：https://twitter.com/stuinc_

　・公式HP：https://stu.inc/