Facebookは1日何億本もの動画をどうやってエンコードしているのか？

世界最大のソーシャルメディアであるFacebookには、毎日何億もの動画がアップロードされています。しかし、すべての動画を最高の品質と解像度で、可能な限り少ないバッファリングで配信できるようにするには、動画ごとに最適なコーデックと設定を使ってエンコーディングを行う必要があります。Facebookが動画のエンコーディングを最適化するために行っている新しい取組みについて、Facebookの技術部であるFacebook Engineeringが公式ブログで解説しています。

How Facebook encodes your videos - Facebook Engineering
https://engineering.fb.com/2021/04/05/video-engineering/how-facebook-encodes-your-videos/

Facebookに動画がアップロードされると、平均ビットレートによって360p・480p・720p・1080pなど複数の解像度へのエンコードが始まります。この時、使用されるコーデックや設定によって、圧縮効率や視覚的な動画品質、必要な計算能力が変化します。

もちろん同時に大量の動画をエンコーディングできないので、動画処理のキューには優先順位が存在し、順番に行われます。この優先順位は、かつては動画の総再生時間や動画の内容、動画をアップロードした友人やフォロワーの数などさまざまな要因に基づいて決められていたそうです。Facebookは動画エンコーディングの優先順位を適切に割り当てることで、ユーザーエクスペリエンスの最適化を図っていたとのこと。

しかし、Facebookは、このアプローチには欠点があったと認めています。動画のコーデックやそれに付随する設定は日々新しいものが登場するため、それだけ動画コーディングのパターンも膨大なものとなり、ユーザーエクスペリエンスを完全に最適化することは不可能です。

くわえて、Facebookは「Facebookでの動画の消費パターンには偏りがある」と指摘しています。たとえば、ディズニーのような大企業のFacebookページと、一般的な中小ビデオブロガーのFacebookページを比較した場合、ディズニーはVloggerよりも動画のアップロード数は少なくても、動画の総再生時間は圧倒的に長くなり、必然的に優先順位が上がります。しかし、動画の消費が激しいページを優先すると、小規模なクリエイターのサポートを無視することになってしまいます。

そこでFacebookは、「アップロードした動画をできるだけ早く高品質でエンコードする」ことを目的として、動画のエンコーディングに費用便益モデルを導入したと述べています。

Facebookは利益・コスト・優先度について次のように定義しました。

・利益＝「固定品質でのエンコーディングファミリの相対的な圧縮効率」×「有効な予測総再生時間」
・コスト＝ファミリ内で欠落しているエンコーディングの計算コスト
・優先度＝利益÷コスト

「エンコーディングファミリ」とは、一緒に配信できるエンコーディングファイルのセットのことで、例えばH.264の360p・480p・720p・1080pは1つのエンコーディングファミリを構成しているといえます。そして「圧縮効率」とは、「特定のコーデックと設定で1GBの動画をエンコーディングした時、動画の再生時間が何分になるか」を示します。

「有効な予測総再生時間」は、動画の総再生時間を機械学習モデルによって予想したもの。これはエンコードした動画がどれだけのデバイスで再生できるかを示しているとのこと。例えば、予測総再生時間が100時間の動画を再生しようとするデバイスのうち、20％がVP9でエンコードされた動画を再生できないと仮定した場合、広く一般的なH.264でエンコードされた動画の有効予測再生時間は100時間でも、VP9でエンコードされた場合は約80時間になります。

機械学習モデルは、動画のアップロード者の友人やフォロワーの数、これまでにアップロードされた動画の平均総再生時間、動画のメタデータ、プラットフォームでの過去の人気などが判断材料として総再生時間を予測します。Fcebookによれば、動画の総再生時間の予測において、過去の総再生時間のデータが最良の予測因子になるとのこと。さらに、わずか数秒のストーリー動画なのか、数時間単位のライブ配信なのかによって、総再生時間が大きく変わるそうです。

機械学習モデルを利用した優先度の新しい算出方法を採用することで、Facebookはアップロードされた動画のエンコーディングを以前よりもはるかに効率的に行えるようになったとのこと。Facebookは、「結果的に、Facebookのユーザーに最高品質のビデオ体験を提供するために、より新しく高度なコーデックへの投資を継続することが容易になりました」と述べました。