Tag Archives: parallel

Git 2.8 的平行下載 submodule 加速

Git 推出新版的時候,幾家 Git Hosting 都會撰文寫一些重要的進展,像是 GitHub 這次的內容:「Git 2.8 has been released」。 GitHub 這次說明平行下載的範例直接清楚表示出來功能: git fetch --recurse-submodules --jobs=4 用 Google 找了一個 .gitmodules 裡面有很多筆的 repository 測了一下,的確是快了不少...

Posted in Computer, Murmuring, Network, Programming, Software | Tagged , , , , , | Leave a comment

PostgreSQL 的 Parallel Aggreation

PostgreSQL 9.6 將會支援 Parallel Aggreation,在多 CPU core 下 aggreation operation 單一 query 的平行化效能改善 (改善非常多):「pgsql: Support parallel aggregation.」: Parallel workers can now partially aggregate the data and pass the transition values back to the leader, which can combine the partial results … Continue reading

Posted in Computer, Database, Murmuring, PostgreSQL, Software | Tagged , , , , , | Leave a comment

PostgreSQL 9.5 將會有 Parallel Sequential Scan

在「Parallel Sequential Scan is Committed!」這邊看到 PostgreSQL 9.5 (還沒出) 將會有 Parallel Sequential Scan 的功能。 文章的作者直接拿了一個大家超常用的惡搞來示範,也就是經典的 LIKE '%word%': rhaas=# \timing Timing is on. rhaas=# select * from pgbench_accounts where filler like '%a%'; aid | bid | abalance | filler -----+-----+----------+-------- (0 rows) … Continue reading

Posted in Computer, Database, Murmuring, PostgreSQL, Software | Tagged , , , , , , , , , , | Leave a comment

MySQL 5.7 將會有新的備份工具 mysqlpump

在「Introducing mysqlpump」這邊提到了 MySQL 5.7 將會有 mysqlpump 這個新工具,主要是避免影響 mysqldump,但又可以產生容易平行處理的 dump data: The goal of mysqlpump is to have a modern utility that is extendable and has native support for parallelization. 看了一下範例還蠻簡單的 (目標也很明確),應該是之後的參考工具...

Posted in Computer, Database, Murmuring, MySQL, Software | Tagged , , , , , , | Leave a comment

MySQL 的 Parallel Replication

「Multithreaded Replication to the Rescue」這篇提到了 Replication 的 Parallel Worker 機制。 作者給了平行的數量對 replication lag 的影響: 可以看得出來 Parallel Worker 機制對 Replication Lag 改善頗大,不過作者在 comment 提到中雷了:「MTS breaks in after restart」。 對於還在使用 traditional master-slave 架構的人可以參考看看。

Posted in Computer, Database, Murmuring, MySQL, Software | Tagged , , , , , | Leave a comment

MySQL 平行執行的 Replication...

「MySQL Replication – Multi-Threaded Slaves (Parallel Event Execution)」這篇在講 MySQL 5.6 的 multi-threaded replication。 在文章裡提到,在 5.6.3 之前的版本,MySQL replication 都是 single-threaded,所以當 master 可以充分發揮多 CPU 能力時,slave 仍然要一個更新跑完才會跑下一個更新。 舉例來說,假設 master server 上有兩個 thread 在跑: thread 1 正在執行 UPDATE table1 SET foo = 0 WHERE … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Network, Software, WWW | Tagged , , , , , , , , , , , , , | Leave a comment