bzip2

S3 Select 宣佈支援 Parquet 與 bzip2

Amazon S3 的 S3 Select 宣佈支援 Parquet 格式：「Amazon S3 Announces New Features for S3 Select」。

本來 S3 Select 就已經支援 CSV 與 JSON 格式，大多數的引擎也都可以直接吃，這次宣佈支援 JSON Arrays，以及 Parquet 格式：

Today, Amazon S3 Select works on objects stored in CSV and JSON format. Based on customer feedback, we’re happy to announce S3 Select support for Apache Parquet format, JSON Arrays, and BZIP2 compression for CSV and JSON objects. We are also adding support for CloudWatch Metrics for S3 Select, which lets you monitor S3 Select usage for your applications.

另外一個上面也有提到的是宣佈支援 bzip2 格式，不知道有沒有打算支援壓縮率更好的其他格式...

Amazon Redshift 的新功能 (BZIP2)

Amazon Redshift 也推出了好幾個新功能，不過有個有點奇怪的壓縮格式 bzip2 出現了：「Amazon Redshift announces tag-based permissions, default access privileges, and BZIP2 compression format」。

BZIP2 data format: The COPY command now accepts data in BZIP2 compression format, in addition to GZIP and LZOP formats, when loading data into Amazon Redshift. Refer to Data Format Parameters for more details.

既然出了 bzip2，為什麼不一起出個效率與壓縮率都更好的 xz？但不管怎樣，總是多了一個壓縮率再更高一點的選擇... @_@

Linux Kernel 將不提供 bzip2 格式了...

在 kernel.org 上看到 Linux Kernel 將不提更 bzip2 格式的原始程式包了：「Happy new year and good-bye bzip2」。

之後只會提供 .tar.gz (為了廣泛的可用性) 與 .tar.xz (為了大小，降低傳輸量)。xz 壓出來小不少，也愈來愈多的單位在用了...

bzip2 也一陣子沒更新了，上次更新是 1.0.6，是為了安全性更新 CVE-2010-0405，而 1.0.5 也是安全性更新，真正有新版本是 1.0.4 (2006 年 12 月)。

算是功成身退了？

用 Lbzip2 解壓縮

手上抓了幾個 .bz2 的檔案要 bzcat 出來 pipe 丟給 Perl script 跑，用系統預設的 bzip2 發現速度卡在解壓縮，而不是 Perl script...

用 parallel 與 bzip2 當關鍵字到 apt-cache 裡面找，有找到兩個套件：Lbzip2 與 Pbzip2，都裝起來後測解壓縮的功能，發現 Pbzip2 解壓縮時沒有辦法利用到多核心的優勢，而 Lbzip2 則是很順利的超過 100%，輸出結果讓 Perl script 也吃滿 CPU resource...

如果是壓縮時需要壓縮率，還是用 xz 就好...