モンスターラボ、「第３９回サントリー1万人の第九」音楽コンサートにおいて一般投稿動画との合唱をIT技術活用により実現

〜約1万件の投稿動画データをAIなどの活用で解析、調整することで編集時間を昨年比で40％削減〜

クライアントのデジタル領域におけるビジネス課題に対し、最適なソリューションを提供する株式会社モンスターラボ(本社：東京都渋谷区、代表取締役社長：長田 寛司　以下、モンスターラボ)は、MBSの音楽イベント「第３９回サントリー1万人の第九」のために募った1万4215件分の一般投稿動画に画像認識AI、音声信号処理による解析・調整を実施し、一つ一つの動画をタイル状に12個ずつ並べたマルチ画面編集の基本となる合唱動画ユニット（2✕6＝12）にまとめる編集を担当しました。複数のIT技術を組み合わせて編集初期の手間を効率化したことにより、同様の作業を昨年行った際と比較し、MBSの編集作業時間を40％削減することに成功しました。

「第３９回サントリー1万人の第九」イベント開催時の画像 提供：MBS

「第３９回サントリー1万人の第九」は1983年から続いているMBSが主催する師走の音楽イベントで、ベートーヴェンの「第九」を１万人が合唱するコンサートです。第39回を迎える今年も昨年に引き続き、新型コロナウイルス感染拡大防止のため一般合唱団の会場参加を見送り、そのかわり約１万件の合唱動画を会場に流す形で開催されました。この合唱動画の制作にあたり、MBSでは多くの視聴者からパソコンやスマートフォンなどで撮影した動画を募集し、結果として1万4215件の投稿動画が集まりました。



昨年も同様に一般投稿の形で約１万件の動画を募り、合唱動画を制作しましたが、投稿者の動画撮影環境の違いなどによりデータが不揃いであり、大量のデータを揃えながら行う編集作業にかかる膨大な工数が課題となっていました。そこで、今回MBSはモンスターラボに協力を依頼し、IT技術を活用して作業工数の大幅な削減を図りながら、期日までにデータの取りこぼしなく、一人ひとりが会場で揃って合唱をしているかのような動画の完成を目指しました。


■活用技術

公募によって集められた1万を超える大量の動画データは不揃いであり、なかには途中停止な動画や違うパートを歌っている動画なども混在していました。これらのデータに対して、モンスターラボでは音と画像の要素に分けて活用すべき最適な技術を検討しました。まず、音に関しては個々の動画で歌い出しのタイミングが異なるため、全動画で歌い出すタイミングを同期するには大変な困難を要します。この問題を、複数の音声信号技術を用いることで解決しました。具体的には、Cross-correlation技術とSignal processing技術を併用し、音声波形を分析して仮説検証を繰り返すことで、歌いだしのタイミングを合わせることに成功しました。一方、投稿者全員が揃って歌っているように見える画像の制作には画像認識AIを用いました。技術を適用するだけでは背景画像にあるポートレートや横に映っている家族の顔も認識してしまうため、エンジニアが調整をすることで投稿者一人ひとりの映像がバストショットサイズでタイル状に並べられた動画が完成しました。

 

■MBSサントリー1万人の第九担当者のコメント

このモンスターラボのIT技術を使い、機械的なプレ編集作業の部分をAIに任せ効率化を図ることで、弊社の編集スタッフはその素材動画を、いかに編集して送っていただいた方々の「思い」を表現するか、に時間を割いて集中することができました。その結果、より音楽性の高い世界最大級の第九歌唱動画をつくりだすことができました。

 

■「サントリー１万人の第九」概要
主催　　　：ＭＢＳ
特別協賛　：サントリーホールディングス株式会社
公演日　　：2021年12月5日（日）15:00開演
場所　　　：大阪城ホール
番組放送日：12月18日（土）午後4時00時～午後4時54分
放送　　　：ＭＢＳ（毎日放送）、ＴＢＳテレビ、ＣＢＣテレビ、ＲＫＢ（ＲＫＢ毎日放送）
ＨＢＣ（北海道放送）、ＴＢＣ（東北放送）
※詳細については、下記サイトをご参照ください。
https://www.mbs.jp/daiku/


■株式会社モンスターラボ　会社概要
クライアントが抱えるデジタル領域のビジネス課題に対し、最適なソリューションを提供するコンサルティング会社です。クライアントのビジネスを成功に導くために、モンスターラボの強みである「ビジネス・デザイン・テクノロジーの三位一体」「グローバルなナレッジ」「フレキシブルなチーム組成」を活かし、 クライアントと伴走しながらDX推進をサポートいたします。
株式会社モンスターラボは、グループ約1,200名、世界18ヵ国30都市のタレント(人材)を活用し、デジタルコンサルティング事業・プロダクト事業(RPAツール、店舗向けオーダーシステム等)を展開するモンスターラボホールディングスの日本における事業会社です。
U R L：https://monstar-lab.com/