replication – Page 5 – Gea-Suan Lin's BLOG

跳過 MySQL replication 失敗的方法...

在 MySQL replication 發生錯誤後，需要一邊 skip replication error，一邊跑 pt-table-sync 強制資料庫同步：

while true; do ( echo 'SET GLOBAL sql_slave_skip_counter = 1; START SLAVE;' | mysql -h $1 ) || sleep 1; done

那個 sleep 1 的設計是用在「如果 replication 正常，停一下再跑一次」的前提下而設計的；如果不需要的話拿掉也是 okay 的。

要注意，能這樣跑的前提是 max_connect_errors 要開超大，我是設成 max_connect_errors = 4294967295。

Stripe 發表了將 MongoDB 資料倒到 PostgreSQL 的工具：MoSQL

Stripe 是家電子付款的新創公司，相較於既有的電子付款機制 (像是 PayPal)，Stripe 所提供的工具與介面對開發者與使用者非常友善。

昨天 Stripe 推出了即時將 MongoDB 的資料倒到 PostgreSQL 的工具 MoSQL：「Announcing MoSQL」。

據官方說法，要撈資料的時候用 SQL 比較方便，而且每個人都懂 SQL，所以他們開發了 MoSQL：

The thing is, we also love SQL. We love the ease of doing ad-hoc data analysis over small-to-mid-size datasets in SQL. We love doing JOINs to pull together reports summarizing properties across multiple datasets. We love the fact that virtually every employee we hire already knows SQL and is comfortable using it to ask and answer questions about data.

由於 PostgreSQL 9.2 支援 JSON 資料結構，感覺很像是要逃離 MongoDB 的工具啊... 雖然官方都不承認 XD

Percona 將辦 Webinar 說明資料庫讀寫分離時的處理...

MySQL replication 通常是資料庫擴充的第一步，因為架設很簡單。但一般 MySQL replication 的讀寫必須分開 (寫入只能在 master)。

在「Webinar on Read/Write Splitting with PHP」看到 Percona 下星期會辦 Webinar，說明在 MySQL replication 架構下要如何處理讀寫分離。

看起來包括對 replication lag 時的處理 (slave 因為各種原因，導致跟不上 master)，有興趣的人可以去報名聽聽看... 雖然是講 PHP，但這個問題在其他的語言也會遇到，聽觀念也應該有幫助。

MySQL 平行執行的 Replication...

「MySQL Replication – Multi-Threaded Slaves (Parallel Event Execution)」這篇在講 MySQL 5.6 的 multi-threaded replication。

在文章裡提到，在 5.6.3 之前的版本，MySQL replication 都是 single-threaded，所以當 master 可以充分發揮多 CPU 能力時，slave 仍然要一個更新跑完才會跑下一個更新。

舉例來說，假設 master server 上有兩個 thread 在跑：

thread 1 正在執行 UPDATE table1 SET foo = 0 WHERE ...; (SQL 1，假定是 CPU bound，需要跑 100 秒)
thread 2 正在執行 UPDATE table2 SET bar = 1 WHERE ...; (SQL 2，也假定是 CPU bound，也需要跑 100 秒)

假設 thread 1 先執行完，這時候 slave 就會在跑完的時候收到 SQL 1，然後把資料同步進去。等到 100 秒過去後，再跑 SQL 2，再花 100 秒。這導致了最少 100 秒的 replication lag (master 與 slave 不同步的時間)。

在 master server 執行時會是這樣：