Firefoxの安定性は長期的に見るとどのように変化しているのか？

by baldiri

正式版が3月18日にリリースされたFirefox 28ですが、年に何度もアップデートを行うFirefoxの安定性は、その度にどのように変化しているのだろうか？ということで、デスクトップ版とAndroid版のFirefoxのベータ＆正式版について、2011年から現在にかけてのクラッシュ率＆フリーズ率の変遷が公開されています。

Home of KaiRo: How Effective is the Mozilla Stability Program?
http://home.kairo.at/blog/2014-04/how_effective_is_the_stability_program

Mozillaの協力のもと調査を行ったのはKaiser Robertさん。Robertさんはデスクトップ版FirefoxとAndroid版Firefoxの安定性を調査するため、日常的にFirefoxから送られるリクエスト100回のうち何回でクラッシュが起きているかを測定しました。

ということでまずは2011年10月から2014年3月5日までのデスクトップ版Firefoxのクラッシュ率。横軸は経過日時を表し、縦軸はクラッシュ率を表しています。

青いグラフがブラウザとコンテンツのクラッシュ率、赤いグラフがプラグインのクラッシュ率、黄色いグラフがプラグインのフリーズ率。なお、フリーズ率は45秒以上プラグインが動かず、プロセスを途中で中断した割合を指します。

グラフを見てまず分かるのは、週末のクラッシュ率が高いということ。これは週末になると多くの人がインターネットを使うためか、もしくはADIのデータが予想よりも正確ではないことを意味します。

また、2012年8月にGoogle DoodleのバグによってGoogleを開いたユーザーのほぼ全員がクラッシュを経験するということが起こりましたが、グラフにはその時の数値もしっかり反映されています。同様に、2012年の6月にFlash 11.3がリリースされた時もプラグインのクラッシュ率とフリーズ率が上昇していることが分かります。

突発的なイベントをのぞき、多くの場合ブラウザのクラッシュ率は「100回のうち1回」をラインとして一定に保たれているように見えますが、2013年の1月は急にブラウザのクラッシュ率が山を描いています。このクラッシュを解決するためにリリースされたのがFirefox 18.0.2ですが、2月には再びグラフが山型に。これはリリースされたFirefox 19.0がAMDのCPUにあるバグの引き金になったためで、すぐにFirefox 19.0.1がリリースされました。

全体的に言うと、グラフは1.0のラインを保っており、これは2013年の12月にFirefox 26をリリースした時も変わりませんでした。つまり、新しい機能をサポートするためのコードを大量に追加しても、クラッシュが起こらないようにMozilla Stability Programがちゃんと機能しているということが言えます。

続いて、Firefoxのベータ版のデータを見てみます。

Firefoxは2012年からベータ版の安定性を上げるよう努めていますが、グラフを見てみると正式版に比べ、やはり安定性は低め。

ベータ版で正式なリリースに向けて問題がないかを確認するため、グラフが大きく揺れているのは当然と言えば当然。例えば2013年の12月には安定性がやや低くなりましたが、ゆっくりと修復していったのでグラフ上はそこまで目立ちません。しかし2014年の2月にリリースされたFirefox 28は1度安定性が低くなり修復した後、さらに大きな後退が見られました。これが2月半ばに公開されたBeta 4。後退がピークを迎えてから2週間ほど経過して、ようやく1.0のラインに近づきます。このようにベータ版で何度もレグレッションテストを行ったため、Firefox 28が正式にリリースされた時は大きな問題も起こらなかったのです。

次はAndroid版のFirefoxを見てみます。

リリース当初はデスクトップ版と比べものにならないくらいの高いクラッシュ率ですが、日が経過するにつれ徐々に安定していっています。約6週間ごとに新しいバージョンがリリースされており、2013年の9月にはかなり安定性を向上させましたが、その数カ月は再び安定性が低くなりました。そのため、2014年1月にMozillaは安定性向上のための新しい試みをはじめ、Firefox 27がリリースされてからは、それまでより少し安定性が向上。しかし、デスクトップ版と比べるとまだまだ改良の余地はあります。

そしてこれがAndroid版Firefoxのベータ版について。縦軸が大きく変化しており、正式版の最高値が4だったのに対し、ベータ版は11になっています。

ADI 100回のうち1回のクラッシュにとどめているデスクトップ版Firefoxに比べると正式にリリースされたAndroid版Firefoxの安定性は低いのですが、ベータ版はそれ以上にすごいことになっています。2013年後半に正式リリースされたAndroid版Firefoxの後退はかなり大きなものでしたが、それでもベータ版よりはひどくありません。しかし、2012年から何度もレグレッションテストを行い、バグを修復し続けることによってグラフは徐々に落ち着きを得ていきます。ここでも6週間のサイクルが見られ、また2014年に新しく始まった安定性向上の試みがうまくいっており、過去最高の安定性を手に入れています。グラフから予想すると、Android版Firefox 28の数値は期待できるはずです。