mongodb

Amazon DocumentDB (with MongoDB compatibility) 支援壓縮

看到「Amazon DocumentDB announces improvements to document compression」這則公告提到 Amazon DocumentDB 5.0 支援壓縮了：

These compression benefits are now supported in Amazon DocumentDB 5.0 instance-based clusters in all regions where Amazon DocumentDB is available.

官方宣稱可以壓七倍：

Compressed documents in Amazon DocumentDB can be up to 7 times smaller than uncompressed documents, leading to lower storage costs, I/O costs, and improved query performance.

在「Managing collection-level document compression」這份文件裡面則是提到演算法是 LZ4：

Amazon DocumentDB uses the LZ4 compression algorithm to compress documents.

因為大家都猜 DocumentDB 後面是 PostgreSQL，所以我就查了一下 PostgreSQL 這邊的資料，可以從 PostgreSQL 14.0 (2021/09/30) 的 Release Notes 看到支援 LZ4：

Add ability to use LZ4 compression on TOAST data (Dilip Kumar)

This can be set at the column level, or set as a default via server parameter default_toast_compression. The server must be compiled with --with-lz4 to support this feature. The default setting is still pglz.

而 DocumentDB 則是 2019 年一月的時候出的，大概是 DocumentDB 5.0 用到的 PostgreSQL 比較新所以可以支援了...

直接在 library 層將 MongoDB 用法轉換成 PostgreSQL 底層的 Pongo

看到這個「Mongo but on Postgres and with strong consistency benefits (github.com/event-driven-io)」算是另外一種用 PostgreSQL 取代 MongoDB 的嘗試，先前其他的方案是 proxy server 的方式實作 (像是 FerretDB)，也就是 TCP 裡面傳的東西還是 MongoDB protocol，然後 proxy server 會轉譯成 PostgreSQL 的 SQL 語法。

這個作法的好處是不用管既有 application 是什麼程式語言開發的，另外改動比較少 (改個連線資訊 + 然後把目前還不支援的功能改寫)，但缺點是多了一組 service 要維護 (如果是 HA 的話又還要設定 failover 或是 load balancer 的機制)。

Pongo 的作法則是移到 library 這邊做掉，所以就有程式語言的限制了：這個專案是用 TypeScript 開發，所以會是 JavaScript + TypeScript 生態系的方案。

不過好處就很明顯了，少了一組 service 要維護 (如果包括 HA 機制的話可能是兩組或三組)，另外因為轉譯的部分在 application 端處理，沒有了 proxy server 也等於少了一個可能的 bottleneck。

這幾天上 Hacker News 後看 commit 頗熱鬧，從 Releases 頁可以看到連續出新版本。

不過... 不考慮直接用 PostgreSQL 嗎？

MongoDB 的替代方案 FerretDB 推出 1.0 (GA) 版本

Hacker News 上看到 FerretDB 推出 1.0 (GA) 版本：「FerretDB: open-source MongoDB alternative (ferretdb.io)」，原文在「Announcing FerretDB 1.0 GA - a truly Open Source MongoDB alternative」這邊。

當初有寫過「MangoDB 改名為 FerretDB (雪貂)」這篇，但沒注意到他們成立公司來開發？在「Careers at FerretDB」這邊可以看到 hiring 的訊息。

官網有整理出目標，像是他們提到不是以 drop-in replacement 為目標，而是實做核心功能與常用的功能，涵蓋大多數的使用者：

Is FerretDB 100% compatible with MongoDB?

It is not necessary, nor it is feasible to implement every single MongoDB feature out there. Our aim is to cover the core feature set of MongoDB, and then continue adding features which could enhance the experience or increase application compatibility. Non-OSS alernatives of MongoDB are similar in this sense, eg. none of these products are able to provide the full feature set of MongoDB. We are aiming to please 85% of MongoDB users, not all of them.

但這樣也讓想換的人會有一些顧慮... 而且這邊的 85% 不知道是怎麼喊出來的？

Amazon DocumentDB 支援 MongoDB 5.0 協定

看到「Amazon DocumentDB (with MongoDB compatibility) adds support for MongoDB 5.0 wire protocol and client-side field level encryption」這篇，Amazon DocumentDB 推出了 MongoDB 5.0 的支援。

MongoDB 5.0 是 2021 年七月的版本，對使用者端比較重要的看起來是 PII 處理與 TSDB 的支援。

比較感興趣的是，TSDB 的部份是繼續用 PostgreSQL 魔改嗎...？

OxideDB：另外一套用 PostgreSQL 為底的 MongoDB 相容層

看到 OxideDB 這個專案：

OxideDB is a translation layer that works as a MongoDB database server while using PostgreSQL's JSON capabilities as the underlying data store.

跟之前提到的 MangoDB 有些淵源 (參考「MangoDB：拿 PostgreSQL 當作後端的 MongoDB 相容層」)，順便提一下 MangoDB 後來被要求改名為 FerretDB：「MangoDB 改名為 FerretDB (雪貂)」。

主要的差異在於 OxideDB 只以 PostgreSQL 為底層，另外是用 Rust 寫的：

The project was heavily inspired by FerretDB and is on its early days. The main difference is that there is no intention to support any database other than PostgreSQL (FerretDB is also supporting Tigris) and it's written in Rust, as opposed to Go.

看起來大家都拿 PostgreSQL 在搞事，但這個專案裡面好像沒搜到 GIN 這個關鍵字，不知道是不是連 index 都沒下...

Linode 過了三年，終於想起來要推出 Managed Databases 服務了

看到 Linode 宣佈 Managed Databases 服務：「Linode Managed Databases in Open Beta」。

測試期間不用錢，但目前只有支援 MySQL，其他幾個像是 PostgreSQL、Redis 與 MongoDB 都還沒推出 (在 roadmap 上)：

Our new managed database service is now in open beta for new and existing customers! We currently support MySQL during this beta—with a near-term roadmap to add PostgreSQL, Redis, MongoDB—and plan to include additional features.

搜了一下隔壁 DigitalOcean 的資料，Manage Databases 這條產品線在 2019 年二月推出 PostgreSQL 的版本：「Our Valentine’s Gift to You: Managed Databases for PostgreSQL」，在 2019 年八月推出了 MySQL 與 Redis 的版本：「Take the worry out of managing your MySQL & Redis databases」，然後在 2021 年六月推出了 MongoDB 的版本：「Introducing DigitalOcean Managed MongoDB – a fully managed, database as a service for modern apps」。

不過 Vultr 看起來是還是完全沒有樣子，相比起來 Linode 好像不算慢？

另外看起來 DigitalOcean 是跟 MongoDB 合作，不像 AWS 自己另外用 PostgreSQL 搞了一套 XDDD

MangoDB 改名為 FerretDB (雪貂)

先前提到的 MongoDB 相容方案 MangoDB，透過PostgreSQL 當底層而且維持 open source license 的方案 (參考先前寫的「MangoDB：拿 PostgreSQL 當作後端的 MongoDB 相容層」)，正式改名為 FerretDB：「MangoDB has a new name, and the momentum is stronger than ever. Meet FerretDB!」。

依照官方的說明，應該就是收到 C&D notice 了：

Moreover, a representative of MongoDB Inc. asked us to stop using the MangoDB name on our website, GitHub, or anywhere else, due to similarity or potential confusion.

Hacker News 上沒什麼討論，不過這邊還是列一下：「MangoDB has a new name (ferretdb.io)」，裡面有提到另外的「Ferret Database」這個網站，看起來是真的雪貂網站 XDDD

MangoDB：拿 PostgreSQL 當作後端的 MongoDB 相容層

在 Hacker News Daily 上看到「A truly Open Source MongoDB alternative」這個東西，在「MangoDB: An open-source MongoDB alternative (mangodb.io)」的討論也可以翻一翻。

MongoDB 最主要的問題就是 4.0 以及以後的版本變成 SSPL 後就不是 open source license 了。

而 MangoDB 是個 Proxy service，前端提供 MongoDB 的協定，後端則是 PostgreSQL。

在 GitHub 上的「MangoDB-io/MangoDB」這邊可以看到 MangoDB 主要是用 Golang 寫的，軟體授權則是 Apache License 2.0。

The core of our solution is a stateless proxy, which converts MongoDB protocol queries to SQL, and uses PostgreSQL as a database engine. This will be compatible with MongoDB drivers, and should work as a drop-in replacement to MongoDB in many cases.

這對於只有提供 MongoDB 當儲存層的軟體來說會是個替代方案。不過如果是自己開發的話，這其實也證明了可以直接用 PostgreSQL，基本上 MongoDB 的功能都可以在 PostgreSQL 上找到方案。

話說這個讓我想到 2019 年 AWS 推出 Amazon DocumentDB 的時候，大家都一直在猜 Amazon DocumentDB 是不是拿 PostgreSQL 前面加上一些東西 (參考「大家在猜 Amazon DocumentDB 的底層是不是 PostgreSQL...」)，後來也有人發現再更早之前就有人 PoC 過了：「A proof of concept MongoDB clone built on Postgres (github.com/jerrysievert)」，現在一般的公認應該就是，只是 AWS 沒有 open source 出來。

目前 MangoDB 還在早期的階段，但看起來這波應該會有一些能量進去幫忙...

Amazon DocumentDB 推出相容 MongoDB 4.0 的版本

在「Amazon DocumentDB (with MongoDB compatibility) adds support for MongoDB 4.0 and transactions」這邊看到 AWS 在 Amazon DocumentDB 上推出相容 MongoDB 4.0 的版本。

把年初在 Ptt 上寫的「Re: [請益] 選擇mongoDB或是relational database ??」這篇拿出來講一下，MongoDB 4.0 最大的改進就是 multi-document transactions 了。

不過 AWS 先前推出 DocumentDB (MongoDB) 時看到的限制，大家都猜測是用 PostgreSQL 當底層 (「AWS 推出 MongoDB 服務：Amazon DocumentDB」與「大家在猜 Amazon DocumentDB 的底層是不是 PostgreSQL...」)，雖然目前還是不太清楚，但如果這個猜測屬實的話，要推出各種 transaction 的支援完全不是問題 XDDD

Percona 對 MongoDB 的建議

看到「5 Things DBAs Should Know Before Deploying MongoDB」這篇，裡面給了五個建議，其中第五點頗有趣：

5) Whenever Possible, Working Set < RAM

As with any database, fitting your data into RAM will allow for faster reads than from disk. MongoDB is no different. Knowing how much data MongoDB has to read in for your queries can help you determine how much RAM you should allocate to your database.

這樣的設計邏輯很奇怪啊，你不要扯其他 database 啊，你們家主力的 InnoDB 一直都沒有推薦要 Working Set < RAM 啊，反過來才是用 InnoDB 的常態吧，而且在 PostgreSQL 上也是這樣吧 XDDD

現在上面的文章真的是挑著看了... XD