Tag Archives: encoding

curl 將支援 Brotli 壓縮

在 Twitter 上看到有人提到 curl 支援 Brotli 了:「HTTP: implement Brotli content encoding」。 Brotli 對文字系列的資料比較有幫助 (像是 html): Unlike most general purpose compression algorithms, Brotli uses a pre-defined 120 kilobyte dictionary, in addition to the dynamically populated ("sliding window") dictionary. The pre-defined dictionary … Continue reading

Posted in Computer, Library, Murmuring, Network, Programming, Software, WWW|Tagged , , , , , |Leave a comment

Branchless UTF-8 解碼器

看到「A Branchless UTF-8 Decoder」這篇,先來回憶一下「非常經典的 UTF-8...」這篇,以及裡面提到的 encoding: 因為當初在設計 UTF-8 時就有考慮到,所以 decoding 很容易用 DFA 解決,也就是寫成一堆 if-then-else 的條件。但現代 CPU 因為 out-of-order execution 以及 pipeline 的設計,遇到 random branch 會有很高的效能損失,所以作者就想要試著寫看看 branchless 的版本。 成效其實還好,尤其是 Clang 上說不定在誤差內: With GCC 6.3.0 on an i7-6700, my decoder is about … Continue reading

Posted in Computer, Library, Murmuring, Programming, Software|Tagged , , , , , , , , , , , |Leave a comment

U2F Security Key 產品測試?

Adam Langley 的「Testing Security Keys」這篇測試了不少有支援 U2F Security Key 的產品,這邊作者是以 Linux 環境測試。 tl;dr:在 Linux 環境下,除了 Yubico 的產品沒問題外,其他的都有問題... (只是差在問題多與少而已) Yubico 的沒找到問題: Easy one first: I can find no flaws in Yubico's U2F Security Key. VASCO SecureClick 的則是 vendor ID 與 product ID … Continue reading

Posted in Computer, Hardware, Murmuring, Network, Privacy, Security|Tagged , , , , , , , , , , , , , , , |Leave a comment

Mozilla 推出 mozjpeg 2.0

othree 前天已經寫過:「mozjpeg 2.0」,不過因為這類性的研究其實對全世界幫助頗大,所以就再提一次... 原文在「Mozilla Advances JPEG Encoding with mozjpeg 2.0」這邊,主要的成果: With today’s release, mozjpeg 2.0 can reduce file sizes for both baseline and progressive JPEGs by 5% on average compared to those produced by libjpeg-turbo, the standard JPEG library upon … Continue reading

Posted in Computer, Murmuring, Software|Tagged , , , , , , , , , |Leave a comment

將 latin1 的表格轉換成 UTF-8 表格...

Percona 的人寫了一篇「utf8 data on latin1 tables: converting to utf8 without downtime or double encoding」,告訴你怎麼將 latin1 的 TEXT 欄位轉成 UTF-8,文章內有提到利用 BLOB 轉。 不確定同樣方式能不能做在 VARCHAR 上面 (用 BINARY 轉?),但不知道會不會有 UNIQUE + prefix support 的問題?有遇到再來測試看看...

Posted in Computer, Database, Murmuring, MySQL, Software|Tagged , , , , , , , |1 Comment

非常經典的 UTF-8...

在 Hacker News 文摘上看到「UTF-8 – “The most elegant hack”」這篇。除了維基百科上的資料以外,Rob Pike 與其他人在 2003 年寫的 mail 也是相當重要的資料。 Ken Thompson 與 Rob Pike 兩位發展出來的 UTF-8 被譽為最優雅的 hack 真的一點都不為過。Unicode 1.0 在 1991 年 10 月公佈。之後就陸陸續續有表示的格式出來... 相容於 ASCII 0-127 的 UTF-1 在 1992 年被提出來,但 parsing … Continue reading

Posted in Computer, Murmuring, Programming|Tagged , , , , , , , , , |8 Comments

MySQL 的 Unicode 支援程度

MySQL 5.5 之前的版本只支援 Unicode 3.0 (1999 年 9 月發表),但自從 MySQL 5.5 版開始支援 Unicode 5.0 (2006 年 7 月發表),對於常用的 utf8 encoding 就有一些變化要注意... 參考維基百科上對 Unicode 版本的說明:「Unicode#Versions」,以及 MySQL 5.5 的文件:「MySQL :: MySQL 5.5 Reference Manual :: 10.1.10 Unicode Support」。 在 MySQL 5.5 之前,UTF-8 … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Programming, Software|Tagged , , , |Leave a comment