Tag Archives: zlib

Pinterest 在 InnoDB Compression 的努力

Pinterest 用 InnoDB 儲存各式資料,而且使用了 InnoDB Compression 的功能。他們花了不少力氣跟 Percona 合作改善 InnoDB Compression 的效能:「Evolving MySQL Compression - Part 1」。 文章有點長度,重點在於他們在 MySQL 裡面放了大量的 JSON: A Pin is stored as a 1.2 KB JSON blob in sharded MySQL databases. 他們發現新版 zlib 的 predefined dictionary … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Software | Tagged , , , , , , , , , | Leave a comment

Facebook 推出的 Zstandard 壓縮

Facebook 發了一篇出來,講 Zstandard:「Smaller and faster data compression with Zstandard」,可以看到: 如果與 Google 去年 open source 出來的 Brotli 相比,Zstandard 則是著重在速度,想要做出一個比 zlib 快很多但又比 zlib 壓的好的壓縮演算法。

Posted in Computer, Murmuring, Software | Tagged , , , , , , , , | Leave a comment

CloudFlare 對 Brotli 的測試

之前有提過這件事情,由於 Firefox 已經支援 Brotli 了 (Google 推出 Brotli 無損壓縮法),所以 CloudFlare 的人整理了目前的效能比較:「Results of experimenting with Brotli for dynamic web content」。 主要還是 Brotli 拿了不少資源來換壓縮率,對於 static content 由於可以事先算好而大勝不少 (大約可以再榨出 15% 的壓縮率,從 zlib 9 的 27.7% 降到 brotli 10 的 23.3%): The current state … Continue reading

Posted in Browser, CDN, Computer, Firefox, Murmuring, Network, Software, WWW | Tagged , , , , , , , , , , , , | Leave a comment

Google 推出 Brotli 無損壓縮法

Google 推出了 Brotli 這個無損壓縮法:「Introducing Brotli: a new compression algorithm for the internet」。 Google 推出的 Zopfli 相容於 DEFLATE 的超慢壓縮演算法,但可以多壓榨出 3%~8% 的壓縮率。而 Brotli 則是重新設計,壓縮與解壓縮速度跟 DEFLATE 差不多,但壓縮率比 Zopfli 多了 20%~26%。 This new format allows us to get 20–26% higher compression ratios over Zopfli. … Continue reading

Posted in Browser, Computer, Murmuring, Network, Programming, Software | Tagged , , , , , , , , , , | 2 Comments

CloudFlare 加速 zlib library

CloudFlare 大幅改善 zlib,使得速度相較原來的版本快了許多:「Fighting Cancer: The Unexpected Benefit Of Open Sourcing Our Code」。 改變的部份主要是 CPU 指令集的特性,以及 longest-match function 的改善。可以看出不同的測試樣本 (corpus) 在壓縮率沒有變差的情況下,大幅改善了速度。 Calgary corpus: Canterbury corpus: Large corpus: Silesia corpus: 速度快非常多,跟 Google 以壓縮率為導向而放出來的 zopfli 剛好是兩個極端:「Google 發表與 zlib/deflate 相容的壓縮程式,再小 5%...」。

Posted in CDN, Computer, Murmuring, Network, Programming, Software | Tagged , , , , , , , | Leave a comment

Google 將發現安全問題的獎勵延伸到 Open Source 專案上...

在 Slashdot 上看到 Google 將發現安全問題的獎勵從自家產品延伸到 Open Source 專案上:「Google Offers Cash For Security Fixes To Linux and Other FOSS Projects」。 官方的公告在「Going beyond vulnerability rewards」,規則則是在「Patch Rewards – Application Security – Google」。 初期限制在這些專案上:(直接複製過來) Core infrastructure network services: OpenSSH, BIND, ISC DHCP Core infrastructure … Continue reading

Posted in Browser, Computer, GoogleChrome, Linux, Murmuring, OS, Programming, Security, Software | Tagged , , , , , , , , , , , , , , , , , , | 1 Comment

Zopflinator:計算 Zopfli 效果比 gzip -9 好多少的網站...

前幾天 Google 推出 Zopfli:「Google 發表與 zlib/deflate 相容的壓縮程式,再小 5%...」,是個壓縮率比目前實做的 deflate/zlib 還高的新演算法。 而 Zopflinator 則是提供比較的網站,你可以把網址丟進去後看到未壓縮的大小、用 deflate 預設值壓縮後的大小,gzip -9 的大小,以及 zopfli 後的大小。 原文出自 Steve Souders 的「Zopflinator」...

Posted in Computer, Murmuring, Network, Software, WWW | Tagged , , , , , | 1 Comment

Google 發表與 zlib/deflate 相容的壓縮程式,再小 5%...

Google 以 Apache License, Version 2.0 發表了與 zlib/deflate 相容的壓縮程式:「Compress Data More Densely with Zopfli」。 與 zlib/deflate 相容代表現有的 browser 都不需要變動,而在 project 頁面上是這樣寫: Zopfli Compression Algorithm is a new zlib (gzip, deflate) compatible compressor. This compressor takes more time (~100x slower), but … Continue reading

Posted in Browser, Computer, Murmuring, Network, Software, WWW | Tagged , , , , , , , , , , | 4 Comments