オープンソースのデータ圧縮フレームワーク「OpenZL」をMetaがリリース、専用ツール並みの性能と汎用ツールらしい手軽さを両立

Metaが動作の高速性を維持しながら高い圧縮率も実現した圧縮フレームワーク「OpenZL」を発表しました。特定のフォーマットに最適化された専用の圧縮プログラムを構築し、これを用いることで一般的なデータ圧縮ツールでは実現できないレベルのパフォーマンスを発揮するとのことです。

[2510.03203] OpenZL: A Graph-Based Model for Compression
https://arxiv.org/abs/2510.03203

OpenZL
https://openzl.org/

Introducing OpenZL: An Open Source Format-Aware Compression Framework - Engineering at Meta
https://engineering.fb.com/2025/10/06/developer-tools/openzl-open-source-format-aware-compression-framework/

現地時間の2025年10月6日、Metaが新しいデータ圧縮フレームワークの「OpenZL」を一般公開すると発表しました。OpenZLは構造化データに対してロスレス圧縮を提供し、専用の圧縮ツールに匹敵するパフォーマンスを実現することができるというものです。入力データに設定可能な一連の変換を適用する事で実現され、データ内の隠れた順序を明らかにし、より容易に圧縮できるようにします。ファイルタイプごとに異なる変換の組み合わせを適用しているにもかかわらず、すべてのファイルは同じ汎用的なツールで解凍可能です。

一般的なデータ圧縮ツールは、画一的な処理戦略に頼るか、どの手法を用いるかを推測することに多くのサイクルを費やします。これに対して、OpenZLは構造体を明示的な入力パラメーターとすることで、このサイクルを節約することに成功しているそうです。これにより圧縮はコーディング前にパターンを表面化する一連の可逆的なステップに集中することができます。

圧縮手順としては、まずユーザーがOpenZLにデータの形状(プリセットまたはシンフォーマット記述経由)を提供します。すると、オフライン最適化コンポーネントであるトレーナーが、類似データに再利用できる効果的な圧縮設定を構築。エンコード時には、この設定がフレームに埋め込まれた具体的なデコードレシピに変換されるそうです。そして、最後にユニバーサルデコーダーが帯域外情報なしにレシピを直接実行します。

OpenZLを使用したデータ圧縮の事例が以下です。Silesia Compression Corpusの一部であるSAO(25万8996個の恒星の位置、固有運動、等級などを含むバイナリ形式のデータ)を、OpenZL・zstd -3・xz -9という3つのデータ圧縮ツールで圧縮します。なお、圧縮にはM1搭載Macが利用されているそうです。OpenZLはバイト列しか扱わない一般的なロスレス圧縮ツールよりも優れた圧縮比および圧縮速度を実現していることがわかります。

重要なのは、OpenZLがデータセンターの処理パイプラインにとって極めて重要な速度を維持または向上させながら、より高い圧縮率を実現することが可能という点です。

OpenZLはオープンソースで開発されており、GitHub上でも公開されています。

GitHub - facebook/openzl: A novel data compression framework
https://github.com/facebook/openzl