幹壞事是進步最大的原動力
在「Amazon DocumentDB (with MongoDB compatibility) adds support for MongoDB 4.0 and transactions」這邊看到 AWS 在 Amazon DocumentDB 上推出相容 MongoDB 4.0 的版本。
把年初在 Ptt 上寫的「Re: [請益] 選擇mongoDB或是relational database ??」這篇拿出來講一下，MongoDB 4.0 最大的改進就是 multi-document transactions 了。
不過 AWS 先前推出 DocumentDB (MongoDB) 時看到的限制，大家都猜測是用 PostgreSQL 當底層 (「AWS 推出 MongoDB 服務：Amazon DocumentDB」與「大家在猜 Amazon DocumentDB 的底層是不是 PostgreSQL...」)，雖然目前還是不太清楚，但如果這個猜測屬實的話，要推出各種 transaction 的支援完全不是問題 XDDD
看到「5 Things DBAs Should Know Before Deploying MongoDB」這篇，裡面給了五個建議，其中第五點頗有趣：
5) Whenever Possible, Working Set < RAM
As with any database, fitting your data into RAM will allow for faster reads than from disk. MongoDB is no different. Knowing how much data MongoDB has to read in for your queries can help you determine how much RAM you should allocate to your database.
這樣的設計邏輯很奇怪啊，你不要扯其他 database 啊，你們家主力的 InnoDB 一直都沒有推薦要 Working Set < RAM 啊，反過來才是用 InnoDB 的常態吧，而且在 PostgreSQL 上也是這樣吧 XDDD
現在上面的文章真的是挑著看了... XD
算是 PostgreSQL 社群裡面的大事情，看到大老在討論 EnterpriseDB (EDB) 買下 2ndQuadrant 的事情：「Community Impact of 2nd Quadrant Purchase」，這兩家公司都是 PostgreSQL 社群裡面重量級的台柱。
先翻了一下新聞稿，兩邊的官方新聞稿分別是「How EDB Became the Leader in the Postgres Market」與「How EDB Became the Leader in the Postgres Market」。
回到原來的文章，裡面提到了 core team 的不成文規定，這個部份可以從 Contributor Profiles 這邊看到目前 core team 有五位成員，Peter Eisentraut 來自 2ndQuadrant，而 Bruce Momjian (這是文章作者自己) 與 Dave Page 則是來自 EnterpriseDB：
First, there is an unwritten rule that the Postgres core team should not have over half of its members from a single company, and the acquisition causes edb's representation in the core team to be 60% — the core team is working on a solution for this.
裡面有提到目前正在找辦法解決中，但不知道目前會怎麼解決，讓出位置可能是一個方法，加到七個人應該也是個方法，反正方法不算少，就等著看...
另外他提出來的兩個問題我覺得都還好，就是併購本來就會發生的事情。
這次的併購算是 PostgreSQL 社群裡面蠻熱鬧的事情，雖然是商業公司之間的併購，但社群這邊應該也會有不少變化...
Hacker News 上看到「Lessons Learned from Running Postgres 13: Better Performance, Monitoring & More」這篇文章，其中有提到 PostgreSQL 13 因為 B-Tree 支援 deduplication，所以有機會縮小不少空間。
搜了一下源頭是「Add deduplication to nbtree.」這個 git commit，而 PostgreSQL 官方的說明則是在「63.4.2. Deduplication」這邊可以看到。
另外值得一提的是，這個功能在 CREATE INDEX 這頁可以看到在 PostgreSQL 13 預設會打開使用。
依照說明，看起來本來的機制是當 B-Tree index 內的 key 相同時，像是 key1 = key2 = key3 這樣，他會存 {key1, ptr1}、{key2, ptr2} 與 {key3, ptr3}。
在新的架構下開啟 deduplication 後就會變成類似 {key1, [ptr1, ptr2, ptr3]} 這樣的結構。可以看出來在 key 重複的資料很多的時候，可以省下大量空間 (以術語來說的話，就是 cardinality 偏低的時候)。
這樣看起來可以降低不少壓力...
Percona 對 MariaDB 在 10.5 (目前的最新穩定版) 裡出的 S3 Engine 給出了簡單的測試報告：「MariaDB S3 Engine: Implementation and Benchmarking」。
這個 engine 顧名思義就是把資料丟到 Amazon S3 上，目前是 alpha 版本，預設是不會載入的，需要開 alpha flag 才能用：
The S3 engine is READ_ONLY so you can’t perform any write operations ( INSERT/UPDATE/DELETE ), but you can change the table structure.
另外這是從 Aria 改出來的 read-only engine，而 Aria 是從 MyISAM 改出來的：
The S3 storage engine is based on the Aria code and the main feature is that you can directly move your table from a local device to S3 using ALTER.
測出來發現在 read-only 的情境下，COUNT(*) 超快，看起來就是跟 MyISAM 體系有關，直接撈 MyISAM 內的資料，所以本地要 18 秒，但放到 S3 反而秒殺 XDDD
整體看起來還不錯？算是一種 Data warehouse 的方案，主要是要用到 row-based format 儲存的優點，遇到一些冷資料可以這樣玩。
從「Using the S3 Storage Engine」這邊的設定方式看到 s3_host_name，看起來有機會接其他家的 S3 API，或是本地的 Storage。
話說 Aria 這個引擎當初最主要的重點就在 crash-safe，在有了 crash-safe 之後，DRBD 這種 block-level replication 機制就可以硬幹上去，後來主力就在擴充其他型態了，像是 GIS 與 virtual column 的功能，不過這些功能本家在 InnoDB 上好像也都陸陸續續跟上來了，單純的 Aria engine 好像還好...
這是 Jespen 第一次測試 PostgreSQL，就順利找出可重製的 bug 了：「PostgreSQL 12.3」。
第一個 bug 是 REPEATABLE READ 下的問題，不過因為 SQL-92 定義不夠嚴謹的關係，其實算不算是 bug 有討論的空間，這點作者 Kyle Kingsbury 在文章裡也有提出來：
Whether PostgreSQL’s repeatable-read behavior is correct therefore depends on one’s interpretation of the standard. It is surprising that a database based on snapshot isolation would reject the strict interpretation chosen by the seminal paper on SI, but on reflection, the behavior is defensible.
另外一個就比較沒問題了，是 SERIALIZABLE 下的 bug，在 SQL-92 下對 SERIALIZABLE 的定義是這樣：
The execution of concurrent SQL-transactions at isolation level SERIALIZABLE is guaranteed to be serializable. A serializable execution is defined to be an execution of the operations of concurrently executing SQL-transactions that produces the same effect as some serial execution of those same SQL-transactions. A serial execution is one in which each SQL-transaction executes to completion before the next SQL-transaction begins.
也就是說，在 SERIALIZABLE 下一堆 transaction 的執行結果，你至少可以找到一組排序，使得這些 transaction 的結果是等價的。
而 Jespen 順利找出了一組 transaction (兩個 transaction)，在 SERIALIZABLE 下都成功 (但不應該成功)：
對於這兩個 transaction，不論是上面這條先執行，還是下面這條先執行，都不存在等價的結果，所以不符合 SERIALIZABLE 的要求。
另外也找到一個包括三個 transaction 的情況：
把 transaction 依照執行的結果把 dependency 拉出來，就可以看出來裡面產生了 loop，代表不可能在 SERIALIZABLE 下三個都成功。
在 Jespen 找到這些 bug 後，PostgreSQL 方面也找到軟體內產生 bug 的部份，並且修正了：「Avoid update conflict out serialization anomalies.」，看起來是在 PostgreSQL 引入 Serializable Snapshot Isolation (SSI) 的時候就有這個 bug，所以 9.1 以後的版本都有這個問題...
這次順利打下來，測得很漂亮啊... 翻了一下 Jespen 上的記錄，發現好像還沒測過 MySQL，應該會是後續的目標？
在 Twitter 上看到這則推，講到在 SQL-92 裡面 Isolation Level 定義的背景：
.@halberenson sent me an amazing email last year about why the ANSI SQL isolation levels got muddied up. I'm sure he can share more details about what happened. pic.twitter.com/Z4iWD4siPg
— Andy Pavlo (@andy_pavlo) June 12, 2020
先是講了為什麼有 SERIALIZABLE、REPEATABLE READ 與 READ COMMITTED，然後講為什麼是用 anomalies 定義 (除了 SERIALIZABLE)，也因此造成了定義不清楚而導致問題。
SQL-92 的 isolation 問題後來在其他文件裡面有被討論，像是 1995 年的「A Critique of ANSI SQL Isolation Levels」，以及 2000 年的論文「Generalized Isolation Level Definitions」，過了二十年後的現在，大家也都大概知道有哪些雷區了。
另外講到 Isolation Level，實務上會希望知道 database 與標準之間的差異，在「Hermitage: Testing transaction isolation levels」這篇可以看到各家 RDBMS 在不同設定下實際的 isolation level，包括了 open source 的 MySQL 與 PostgreSQL 與商用常遇到的 Oracle 與 Microsoft SQL Server。
MySQL 的 REPEATABLE READ 因為 SQL-92 的定義不清楚，所以大概知道這邊本來就有爭議，比較意外的反倒是 Oracle 裡面的 SERIALIZABLE 實際上是 Snapshot Isolation，沒有辦法達到 SQL-92 裡面最高等級的 Isolation Level。
然後發現有些知識還是有漏，趁這個機會補...
標題裡是說這本書：「SQL Antipatterns: Avoiding the Pitfalls of Database Programming」，在 2010 年出版的書。
我是在 Hacker News Daily 上看到「Ask HN: What are some examples of good database schema designs?」這篇，裡面提到了這本書，看了一下章節看到只有 USD$25 就馬上先買起來丟到 Kindle 裡面...
這不是給資料庫初學者看的書，主要的讀者是對於「標準」夠熟 (學校教的那些理論基礎，像是各種 index 的底層結構，正規化的方法，以及正規化的原因)，然後也有一些實務經驗後的開發者。
因為裡面把常遇到的問題，與可能的解決方式 (通常都違反當初在學校學的理論基礎) 整理成這本書，在底子還沒打穩前跑來看這本書並不是個好主意...
另外裡面雖然不一定有提到，但有蠻多技巧其實是用在「為了效能而不則手段」的情境下，所以這些內容對於想要調校比較大的網站應該也是很有幫助。
在「Migrating from Oracle to PostgreSQL: Tips and Tricks」這邊看到在討論怎麼從 Oracle 資料庫轉移到 PostgreSQL 上。
開頭介紹了 Orafce，實做了一些 Oracle 上的 function，可以使得轉移時不用改寫太多 SQL：
The "orafce" project implements of some functions from the Oracle database. The functionality was verified on Oracle 10g, and the module is useful for production work.
先記錄起來，之後如果有機會的話比較好找...
在 Hacker News Daily 上看到 mgartner/pg_flame 這個專案，可以把 PostgreSQL 的 EXPLAIN 結果 (JSON 格式) 轉成 Flamegraph (用 HTML 呈現)：
不過我是直接看 EXPLAIN 的輸出比較習慣... 但如果需要做投影片的時候，應該是個好工具？