keeper

ClickHouse 弄了一個 C++ 寫的 ZooKeeper drop-in replacement：ClickHouse Keeper

在 Hacker News 上看到「ClickHouse Keeper: A ZooKeeper alternative written in C++ (clickhouse.com)」，原文是「ClickHouse Keeper: A ZooKeeper alternative written in C++」。

在 distributed coordination 這個領域目前應該是 etcd 比較知名，但 Apache ZooKeeper 畢竟算是元老，還是有不少應用程式會把 ZooKeeper 當作基礎建設在用。

因此 etcd 也包了一個 zetcd，可以用 etcd 當作底層結構，但提供 ZooKeeper API 的介面讓應用程式使用：

Serve the Apache Zookeeper API but back it with an etcd cluster

這次 ClickHouse 的人搞出一個用 C++ 寫的 ClickHouse Keeper，定位是 drop-in replacement，想要解決現有的應用程式遇到的記憶體資源問題。

從開頭的說明就可以看到著重在這塊：

up to 46 times less memory than ZooKeeper for the same volume of data while maintaining performance close to ZooKeeper.

而對於新的應用程式，在開發時應該就不太會選 ZooKeeper 了，畢竟連 distributed lock 都得自己操作 znode 把功能疊出來 (像是官網很貼心的還提供了「ZooKeeper Recipes and Solutions」，裡面提供了 lock 的方法)，而這種事情太累，用 etcd 方便太多...

ClickHouse 自家做的 benchmark 比較

在「Show HN: A benchmark for analytical databases (Snowflake, Druid, Redshift) (clickhouse.com)」這邊看到 ClickHouse 自家做的 benchmark 比較，網站在「ClickBench — a Benchmark For Analytical DBMS」這邊。

這種 benchmark 基本上是拿來當作清單來看，另外 Hacker News 上的討論一定得看，尤其是沒被列上 benchmark 的...

講到 ClickHouse，先前是有朋友跑來說他有個需求是需要跑分析，但遇到用 PostgreSQL 時發現寫入速度不夠快的問題，看看有沒有什麼方法可以解。問了多一點以後發現他的需求是 OLAP 類而不是 OLTP 類，就先跟他講要去找 OLAP engine 來解決。

然後就聊到維基百科上「Comparison of OLAP servers」這個條目，裡面列出來的 open source 軟體是不少，但 Apache 家基本上大家都知道是回收場，裡面就剩下 ClickHouse 比較常在 Hacker News 以及其他地方被提到，但我有跟他講我連玩都沒玩過，我們家自己反而是用 Cassandra 與 Trino 搭出來的，當時沒有花太多時間研究市場上的方案，就挑了一個自己熟悉的方案趕快先解決。

但過了兩天後他就說用 ClickHouse 解決了，反而讓我對 ClickHouse 有興趣起來，反正記憶體當時裝了一堆沒用到。

拉了一下「Summary of the 1.1 Billion Taxi Rides Benchmarks」這邊的資料看，這個作者常常會測各種資料庫，算是一個可以參考的資料來源，可以看到 2019 年測的「1.1 Billion Taxi Rides: 108-core ClickHouse Cluster」其實就相當不錯了？

基本上先照「Usage Recommendations」這邊看一輪，基本的要求不低，但剛好機器是 32GB RAM：

If your system has less than 16 GB of RAM, you may experience various memory exceptions because default settings do not match this amount of memory. The recommended amount of RAM is 32 GB or more. You can use ClickHouse in a system with a small amount of RAM, even with 2 GB of RAM, but it requires additional tuning and can ingest at a low rate.

如果要跑 cluster 模式的話會需要 ZooKeeper 或是替代品 ClickHouse Keeper。

然後除了使用官方的 clickhouse-client 連線以外，也可以用 MySQL 或是 PostgreSQL 的 client 連，裡面操作其實蠻簡單的，好像值得投資看看？

Kafka 拔掉 ZooKeeper 的計畫

目前 Kafka cluster 還是會需要透過 ZooKeeper 處理不少資料，但眾所皆知的，ZooKeeper 實在是不好維護，所以 Kafka 官方從好幾年前就一直在想辦法移除對 ZooKeeper 的相依性。

這篇算是其中一塊：「Kafka Needs No Keeper」。

真的自己架過 Kafka cluster 就會知道其中的 ZooKeeper 很不好維護，尤其是 Apache 官方版本的軟體與文件常常脫勾，設定起來就很痛苦。所以一般都會用 Confluent 出的包裝，裡面的 ZooKeeper 軟體與 Confluent 自己寫的文件至少都被測過，不太會遇到官方文件與軟體之間搭不上的問題。

另外一個常見的痛點是，因為 Kafka 推動拔掉 ZooKeeper 的計畫推很久了 (好幾年了)，但進展不快，所以有時候會發現在 command line 下，有些指令會把 API endpoint 指到 ZooKeeper 伺服器上，但有些指令卻又指到 Kafka broker 上，這點一直在邏輯上困擾很久，直到看到官方的拔除計畫 (但又不快) 才理解為什麼這麼不一致...

給需要的人參考，當初在架設 Kafka cluster 時寫下來的筆記：「Confluent」。

Windows 10 自動安裝 Keeper 產生安全漏洞，然後 Keeper 決定告記者...

Ars Technica 報導了 Windows 10 自動安裝了 Keeper 這個密碼管理程式，然後這個管理程式被 Tavis Ormandy 發現有安全漏洞，可以讓惡意網站直接存取密碼 (參考「keeper: privileged ui injected into pages (again)」)：「For 8 days Windows bundled a password manager with a critical plugin flaw」。

發現漏洞的作者在 16 個月前有抓到 Keeper 的漏洞 (參考「Keeper: Trusted UI is injected into untrusted webpage」)，於是他就拿同樣的方法打一打，結果就爆了：

I assume this is some bundling deal with Microsoft. I've heard of Keeper, I remember filing a bug a while ago about how they were injecting privileged UI into pages ( issue 917 ). I checked and, they're doing the same thing again with this version. I think I'm being generous considering this a new issue that qualifies for a ninety day disclosure, as I literally just changed the selectors and the same attack works.

漏洞後來被修正了，但是 Keeper 也對 Ars Technica 的記者提告：「Security firm Keeper sues news reporter over vulnerability story」。

Keeper said in its lawsuit that Goodin and his employer, tech site Ars Technica, also named as defendant, "made false and misleading statements about the Keeper software application suggesting that it had a 16-month old bug that allowed sites to steal user passwords."

這樣就清楚知道 Keeper 這家公司的調性了，之後看到他們家的東西要小心。

另外會不會幾個月後之後變成法院認證呢...