Tag Archives: cassandra

ScyllaDB 2.0 要引入 Cassandra 3.0+ 的 Materialized View

最近 ScyllaDB 的網站改版了... (有種不習慣的感覺) ScyllaDB 2.0 打算要引入 Materialized View (出自 Apache Cassandra 3.0+):「Materialized Views preview in Scylla 2.0」。 一般 Materialized View 的實做方式是另外存一份,所以你可以在上面加 Index 之類的設定讓存取速度變快... 不過 Cassandra 不是本來就以讀慢寫快為優勢嗎,要速度可以考慮用 cache 疊出來,或是其他方式,當初 Cassandra 會開發這個功能就有點... XDDD

Posted in Computer, Database, Murmuring, Software | Tagged , , , , , , , , | 1 Comment

Apache Foundation 宣佈禁止使用 Facebook BSD+Patents 的軟體

在「RocksDB Integrations」這邊討論到 RocksDB 裡 Facebook 所使用的 Facebook BSD+Patents License。 不過因為 RocksDB 最近在換 license (從 Facebook BSD+Patents 換到 Apache License, Version 2.0),移除了 PATENTS 內的限制,需要看 PATENTS 的舊檔案可以在 PATENTS 這邊看到。 Chris Mattmann 正式發出決議禁用 Facebook BSD+Patents License。(參考最後) 另外也提到了 Facebook 是故意埋下這些限制: Note also Roy's comment … Continue reading

Posted in Computer, Database, Library, Murmuring, Programming, Software | Tagged , , , , , , , , , | 2 Comments

Reddit 在處理 Page View 的方式

Reddit 說明了他們如何處理 pageview:「View Counting at Reddit」。 以 Reddit 的規模有提到兩個重點,第一個在善用 Redis 的 HyperLogLog 這個資料結構,當量大的時候其實可以允許有微小的誤差: The amount of memory varies per implementation, but in the case of this implementation, we could count over 1 million IDs using just 12 kilobytes of space, … Continue reading

Posted in Cassandra, Computer, Database, Murmuring, Network, Programming, Service, Software | Tagged , , , , , , , , , , , , , , , , , , , | Leave a comment

ScyllaDB 1.7 支援 Counters 了

在「Scylla release: version 1.7」這邊看到 ScyllaDB 支援 Counters 的消息了 (雖然剛出來,掛著 Experimental 的消息): Scylla now supports Counters as a native type. A counter column is a column whose value is a 64-bit signed integer and on which two operations are supported: incrementing … Continue reading

Posted in Cassandra, Computer, Database, Network, Software | Tagged , , , , , , , , | Leave a comment

ScyllaDB 1.7 要支援 Cassandra 的 Counter 了

Counter 是 Cassandra 裡一個特別的資料型態,總算是要 porting 進 ScyllaDB 了:「Scylla 1.7 introduces experimental support for counters」。 由於資料結構的特殊性,在文章裡有提到想像得到的限制: once deleted, counter column value cannot be used again—this is a consequence of the fact that counters can only be incremented or decremented, they cannot … Continue reading

Posted in Computer, Database, Murmuring, Network, Software | Tagged , , , , , , | Leave a comment

Scylla 1.4 系列的發佈

ScyllaDB 最近發行了 Scylla 1.4 與 1.4.1:「Scylla release: version 1.4」與「Scylla release: version 1.4.1」,另外也整理出 Docker 版本:「Scylla on Docker」。 可以從 1.4 的公告裡面看到功能愈來愈完整了,在導入其他跟 Cassandra 配合的軟體應該會愈來愈順,而且就之前用 Presto 而去 Scylla 的 GitHub 上回報問題的經驗,Scylla 的人對於能夠生出可重製的 bug report 還蠻重視的,解決速度都還算合理... 另外提供 Docker image 也讓想要測試的人變方便...

Posted in Computer, Database, Murmuring, Software | Tagged , , , , | Leave a comment

Scylla 1.3

看到 Scylla 正式公告 1.3 版的消息了:「Scylla release: version 1.3」。 Scylla 是用 C++ 重寫 Java 版本的 Cassandra 所有東西 (包括資料結構與 Protocol),目標是做到可以完全相容替換現有 Cassandra Cluster。(號稱可以一台一台移除 Cassandra 的程式,裝上 Scylla 後就可以無痛換過去) 而 Scylla 另外一個重點是效能的提昇,官方宣稱在完整最佳化的情況下是 10x 以上的效能提昇,之前拿 AWS 實測 (沒有完整最佳化) 也可以看到 2x 到 4x 的數字,對於目前的 Cassandra 應用來說極為重要。 1.3 … Continue reading

Posted in Computer, Database, Murmuring, Network, Programming, Software | Tagged , , , , , , , , | Leave a comment

Netflix 開發的 Delayed Queue

原來這個叫做 Delayed Queue,難怪之前用其他關鍵字都找不到什麼資料... (就不講其他關鍵字了 XD) Netflix 發表了他們自己所開發的 Delayed Queue:「Distributed delay queues based on Dynomite」。 本來的架構是用 Cassandra + Zookeeper 來做: Traditionally, we have been using a Cassandra based queue recipe along with Zookeeper for distributed locks, since Cassandra is the de … Continue reading

Posted in Computer, Murmuring, Network, Programming, Software | Tagged , , , , , , , , , , , , | Leave a comment

ScyllaDB:用 C++ 改寫相容於 Cassandra 的系統

Scylla 是出自希臘神話,維基百科對應的連結:「斯庫拉」、「Scylla」。而在 ScyllaDB 官網副標題寫著: Fully compatible with Apache Cassandra at 10x the throughput and jaw dropping low latency JVM 的 GC 老問題在 Cassandra 中帶來的 latency 不穩定本來就是個痛苦的問題,要花很多力氣去調整,而用 C++ 改寫等於是自己處理這一塊。 這帶來的效能提昇可以從各種測試結果看出來,像是單機的測試:「Scylla vs. Cassandra benchmark」,以及多機的測試:「Scylla vs. Cassandra benchmark (cluster)」(可以參考下圖)。 而 Latency 的改善也是極為明顯:「Latency benchmark」。 … Continue reading

Posted in Computer, Database, Murmuring, Network, Software | Tagged , , , , , , , , | Leave a comment

MariaDB 10.0.1...

MariaDB 發表 MariaDB 10.0.1 了:「What does MariaDB 10.0.1 include – available now」。 公告的文章把一些資訊整理出來讓大家與 MySQL 5.6 比較... XD MariaDB 10.0-only Features:只有 MariaDB 10.0 有的功能。 MariaDB 10.0 Merged Features:從 MySQL 5.6 拉回來的功能。 MariaDB 10.0 Reimplemented Features:兩邊都有的功能,不過 MariaDB 自己重新實作了 (重寫)。 MariaDB 5.x Features … Continue reading

Posted in Computer, Database, MariaDB, Murmuring, MySQL, Network, Software | Tagged , , , , , | Leave a comment