毎日放送(MBS)｜AIを活用した解析・調整による動画編集作業の効率化

画像認識AI、音声信号処理を活用した解析・調整により、編集作業時間の40%削減に貢献

毎日放送（MBS）は、近畿広域圏を対象地域とするテレビ放送局。

モンスターラボは、同社が開催する「第39回サントリー1万人の第九」において、1万4215件分の一般投稿動画に画像認識AI、音声信号処理による解析・調整を実施。動画編集初期の作業を効率化することで、MBSの編集作業時間を前年比で40％削減しました。

課題

「サントリー1万人の第九」は、MBS主催でベートヴェンの「第九」を1万人が合唱する、1983年から続いている音楽コンサート。

2020年からは新型コロナウイルス感染拡大防止のため、一般合唱団の会場参加を見送り、約1万件の合唱動画を会場のスクリーンで流す形で開催されています。

しかし、一般からの投稿動画のため撮影環境が違い、1万件を超える大量の動画データの編集作業時間が課題になっていました。

ソリューション

はじめに、モンスターラボは、動画を音声と映像の要素に分け、それぞれに活用すべき最適な技術を検討。

音声の調整では個々の動画で歌い出しが異なることがあり、全動画でタイミングを揃えることに時間がかかるため、複数の音声信号技術を用いる解決策を模索しました。

技術調査の結果、Cross-correlationを用いて音声波形から歌っているパートを割り出し、Signal processingを併用することで撮影時に混ざったノイズをカットすることに成功。さらに、撮影環境や声量の違いを整えるために仮説検証を繰り返し、一定の音域を特定して歌いだしのタイミングを合わせました。

また、映像の切り出しでは、全動画の被写体との画角を揃えるために画像認識AIを活用。撮影環境によっては背景に入り込んだ写真なども認識してしまうため、人物の動く範囲を一定の領域で捉えられるようにし、精度の高い抽出を可能にしました。

結果

毎日放送編集担当者が手作業による編集に取り掛かるまでの準備段階ともいえる、機械的なプレ編集作業の部分をAIによって効率化を図ることで、全体的な編集作業時間を４０％削減することに貢献。

関連情報