Tag Archives: parallel

Git 2.8 的平行下載 submodule 加速

Posted on April 1, 2016 by Gea-Suan Lin

Git 推出新版的時候，幾家 Git Hosting 都會撰文寫一些重要的進展，像是 GitHub 這次的內容：「Git 2.8 has been released」。 GitHub 這次說明平行下載的範例直接清楚表示出來功能： git fetch --recurse-submodules --jobs=4 用 Google 找了一個 .gitmodules 裡面有很多筆的 repository 測了一下，的確是快了不少...

Posted in Computer, Murmuring, Network, Programming, Software | Tagged , , , , , | Leave a comment

PostgreSQL 的 Parallel Aggreation

Posted on March 24, 2016 by Gea-Suan Lin

PostgreSQL 9.6 將會支援 Parallel Aggreation，在多 CPU core 下 aggreation operation 單一 query 的平行化效能改善 (改善非常多)：「pgsql: Support parallel aggregation.」： Parallel workers can now partially aggregate the data and pass the transition values back to the leader, which can combine the partial results … Continue reading →

Posted in Computer, Database, Murmuring, PostgreSQL, Software | Tagged , , , , , | Leave a comment

PostgreSQL 9.5 將會有 Parallel Sequential Scan

Posted on November 18, 2015 by Gea-Suan Lin

在「Parallel Sequential Scan is Committed!」這邊看到 PostgreSQL 9.5 (還沒出) 將會有 Parallel Sequential Scan 的功能。 文章的作者直接拿了一個大家超常用的惡搞來示範，也就是經典的 LIKE '%word%'： rhaas=# \timing Timing is on. rhaas=# select * from pgbench_accounts where filler like '%a%'; aid | bid | abalance | filler -----+-----+----------+-------- (0 rows) … Continue reading →

Posted in Computer, Database, Murmuring, PostgreSQL, Software | Tagged , , , , , , , , , , | Leave a comment

MySQL 5.7 將會有新的備份工具 mysqlpump

Posted on September 6, 2015 by Gea-Suan Lin

在「Introducing mysqlpump」這邊提到了 MySQL 5.7 將會有 mysqlpump 這個新工具，主要是避免影響 mysqldump，但又可以產生容易平行處理的 dump data： The goal of mysqlpump is to have a modern utility that is extendable and has native support for parallelization. 看了一下範例還蠻簡單的 (目標也很明確)，應該是之後的參考工具...

Posted in Computer, Database, Murmuring, MySQL, Software | Tagged , , , , , , | Leave a comment

MySQL 的 Parallel Replication

Posted on February 12, 2015 by Gea-Suan Lin

「Multithreaded Replication to the Rescue」這篇提到了 Replication 的 Parallel Worker 機制。 作者給了平行的數量對 replication lag 的影響： 可以看得出來 Parallel Worker 機制對 Replication Lag 改善頗大，不過作者在 comment 提到中雷了：「MTS breaks in after restart」。 對於還在使用 traditional master-slave 架構的人可以參考看看。

Posted in Computer, Database, Murmuring, MySQL, Software | Tagged , , , , , | Leave a comment

MySQL 平行執行的 Replication...

Posted on January 9, 2013 by Gea-Suan Lin

「MySQL Replication – Multi-Threaded Slaves (Parallel Event Execution)」這篇在講 MySQL 5.6 的 multi-threaded replication。 在文章裡提到，在 5.6.3 之前的版本，MySQL replication 都是 single-threaded，所以當 master 可以充分發揮多 CPU 能力時，slave 仍然要一個更新跑完才會跑下一個更新。 舉例來說，假設 master server 上有兩個 thread 在跑： thread 1 正在執行 UPDATE table1 SET foo = 0 WHERE … Continue reading →

Posted in Computer, Database, Murmuring, MySQL, Network, Software, WWW | Tagged , , , , , , , , , , , , , | Leave a comment