なぜ動画で紙吹雪や雪が舞うと画質が落ちるのか？

YouTubeの動画で紙吹雪や雪が舞うシーンがあると、途端に画質が落ちてしまうことがあります。これには映像データの圧縮と伸張が関与してくるわけですが、具体的にどうなっているのかについてYouTuberのトム・スコット氏が解説しています。

Why Snow and Confetti Ruin YouTube Video Quality - YouTube

アナログテレビの時代、映像は圧縮されておらず、大気中に送られた信号を各テレビがそのまま受信して映像を映していました。この映像は元の解像度をそのまま保ったもので、カメラが捉えたほとんどすべてのビットをテレビで見ることができました。

テレビのチャンネルが少なかった時代は上記の手法でも問題ありませんでしたが、チャンネルが多くなるにつれて不具合が生じ始めます。またそもそも信号をそのまま送るというのは無駄なことでした。これを解決したのが圧縮という技術です。

スコット氏によると、HD画質の映像のすべての画素を圧縮なしで完璧な品質で送信するためには毎秒1.1ギガビットほど送信する必要があるとのこと。これには平均的なアメリカ人が使用するブロードバンド接続100回線分を必要とします。YouTubeがうまく動作するためには、これだけのデータ量、つまりビットレートをうまく削減する必要があるのです。

削減のステップ1は画像圧縮の技術です。基本的な画像圧縮は、人の目で見ても気づかれないようなビットを捨てることにより実現されています。これを用い、動画のフレーム1つ1つを抜き出して同じような圧縮を適用することができます。

ステップ2はフレーム間圧縮です。各フレームの間で同じようなデータがあるとき、例えば無地の背景をバックに人間が映っているシーンがしばらく続くときなどは、同じようなデータ(無地の背景)を毎回送信する必要はありません。この場合、フレーム前後の差分だけを扱うことでデータ量を圧縮できます。

この2つのステップにより、スマートフォンでも高画質な映像を見られるようになっています。

ところが、画面に雪や紙吹雪が舞うと途端に崩れてしまいます。

スコット氏は映像のビットレートに制限をかけました。エンコードに使われる1秒間辺りの1と0の数を制限している状態です。

秒間200キロビットに制限すると、スコット氏の画質が乱れます。それでも何が起こっているのかはなんとなくわかります。

ここに雪を追加すると大きく変わります。映像のビットはスコット氏を描画するためだけに使われていましたが、突然現れた雪を追跡するためにも使われるようになります。雪の動きは混沌としていて複雑です。

さらに紙吹雪も追加すると映像はガタガタに。動画フレーム内に動くものがあればあるほどフレーム間の差分が大きくなり、使用可能なビットがなくなって映像は崩壊します。

ビットレート制限を元に戻してもまだよくはなりません。

ところが、空中で動いているものをすべて止めると数秒後には高画質で再生できるようになります。

スコット氏は「紙吹雪自体が問題なのではありません。問題は動きなのです。スポーツチームが勝って紙吹雪が飛び交うと画質が落ちてしまうのはこのためです」と述べました。