Tag: partial

Git v2.25.0 的 Partial Checkout

Git v2.25.0 出了一個大家等了很久的功能 Partial Checkout，可以只抓取部份的內容：「[ANNOUNCE] Git v2.25.0」。另外也可以看 GitHub 的整理：「Highlights from Git 2.25」。

這個功能正式名稱是 sparse-checkout：

* Management of sparsely checked-out working tree has gained a dedicated "sparse-checkout" command.
* "git sparse-checkout list" subcommand learned to give its output in a more concise form when the "cone" mode is in effect.

這個功能目前還是 experimental，目前 GitHub 還沒有支援，如果要玩的可能要用自己的 server 來測：

Partial clones are still considered an experimental feature from Git’s point of view. For instance, many providers (such as GitHub) don’t support this feature yet, and it’s continually changing and evolving within Git from release to release.

看了一下公告，這個功能的主力是 Microsoft 的 Derrick Stolee 推進來的，再等幾個版本應該有機會在各大平台上用。

在 Production 上惡搞 PostgreSQL，建立一千萬筆 Index...

在「Running 10 Million PostgreSQL Indexes In Production (And Counting)」這邊看到 Heap 他們在 PostgreSQL 上惡搞的方式。

為了效能，所以在上面建立了大量的 Partial index。像是這樣的條件 (所以其實每個都不算太大)：

CREATE INDEX ON events (time) WHERE type = ‘click’ AND text = ‘login’

要注意的是 MySQL 的 Partial index 其實是 prefix index，用以減少 index 的空間要求，這在 VARCHAR(255) 以及 MD5 後的欄位還蠻有幫助的。而 PostgreSQL 的 Partial index 則是指條件式，兩者不太一樣。

不過他們還是有遇到「建立 index」這件事情的效能問題 (以及 workaround 的方式)。

不太常看到這樣惡搞，看到這篇的時候在電腦前笑的頗開心的 XDDD

MySQL InnoDB 與 PostgreSQL 的 Partial Index(es) 是不一樣的東西...

MySQL InnoDB 指的 Partial Index 是：

An index that represents only part of a column value, typically the first N characters (the prefix) of a long VARCHAR value.

而 PostgreSQL 指的 Partial Indexes 是：

A partial index is an index built over a subset of a table; the subset is defined by a conditional expression (called the predicate of the partial index). The index contains entries only for those table rows that satisfy the predicate. Partial indexes are a specialized feature, but there are several situations in which they are useful.

先講結論，PostgreSQL 可以做掉 MySQL InnoDB 的 Partial Index 想做的事情，而且還更多。

MySQL InnoDB 的 Partial Index 是設定對 prefix index (對字串前面的 n bytes)，可能的情況是 CHAR(32) 只對前面 16 bytes 索引。

PostgreSQL 的 Partial Indexes 受益於許多方面而更強大。因為有 Indexes on Expressions，所以除了可以像 MySQL 對 prefix 索引外，也可以索引 suffix，甚至是索引透過 string function 得出來的值。

像是 PostgreSQL 可以設定「我只要索引一月一日出生的人的 username」：

CREATE INDEX test_index ON test_table (username) WHERE birth_month = 1 AND birth_day = 1;

在 MySQL 裡需要反正規化後下 index，或是拆出另外一個表格再下 index 的問題，在善用 PostgreSQL 這些功能就可以省下不少功夫...

Instagram 說明用 PostgreSQL 的五個優點...

先不管 Instagram 最近的負成長以及反駁，剛剛在 Instagram Engineering 上看到對 PostgreSQL 的稱讚：「Handling Growth with Postgres: 5 Tips From Instagram」

Facebook 在 MySQL 的領域裡的實力以及貢獻度可是數一數二，但 Instagram 在被 Facebook 買下後仍然繼續使用 PostgreSQL，總是有些原因存在... 雖然真正的原因不一定是技術，但這篇試著用技術解釋的內容還是可以看一看，了解 PostgreSQL 有哪些特點...

第一個是講 partial indexes，這與 MySQL community 常講的 partial index 是不同的東西。

MySQL 的 partial index 是指只 index 某個欄位的一部分，像是 VARCHAR(255) 裡面只 index 前面的 10 chars；而 PostgreSQL 的 partial indexes 則是指符合某個條件的 row 才 index。

第二個是 functional indexes，可以針對欄位計算後再 index。MySQL 的 partial index 在 PostgreSQL 裡可以用 functional indexes + substr() 達到相同的效果，而且還有其他 function 可以用，花樣更多。

兩個都是 MySQL 做不到 (或是做不好)，但 PostgreSQL 做的不錯的。一般在 MySQL 要達到 PostgreSQL 的這兩個功能需要另外開一個欄位，在裡面儲存去正規化後的值，再對這個欄位 index。

第三個是講 defrag 的事情，這部份 MySQL 也可以用第三方的工具 Percona Toolkit 搞定。第四個講 PostgreSQL 的 Write-Ahead Log，有點像是 MySQL 的 binlog。最後一個講 Python 上的 psycopg2。

看來看去就是 index 那塊最明顯。可以直接減少去正規化的欄位...