Category Archives: Database

ElastiCache 支援 r4.* 了

每年 AWS re:Invent 要到的時候就會有很多新的消息出來,Amazon ElastiCache 的團隊應該也是配合著這一波放出消息:「Amazon ElastiCache Now Supports the R4 Node Family」。 包括了 memcached 與 Redis 都支援了: Amazon ElastiCache now supports R4 node types. R4 nodes are optimized for latency sensitive and memory intensive workloads. They come in six … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, Service, Software|Tagged , , , , , , , , , , , , |Leave a comment

RDS (MySQL/MariaDB) 支援 t2、r4 以及 m4 的新機種

這個大家等好久了,尤其 MySQL 常遇到需要用記憶體換效能的情境:「Amazon RDS for MySQL and MariaDB Supports R4, T2 and M4 Instance Types」。 先前 t2 最大只能開到 t2.large (8GB RAM),對於需要大量記憶體運算的 SQL query,就有機會被 MySQL 使用 filesort 寫到硬碟裡面暫存了。這次支援這些 instance type,開發環境至少有選擇可以開到 t2.2xlarge (32GB RAM) 跟他拼。 而 r4 應該是正式環境期待已久的 instance type 了。r3 最大是 … Continue reading

Posted in AWS, Cloud, Computer, Database, MariaDB, Murmuring, MySQL, Network, Service, Software|Tagged , , , , , , , , , , , , , , , , , |Leave a comment

用 Percona Toolkit 備份的 MySQL 可以直接還原到 Amazon RDS 上

AWS 宣佈 Amazon RDS for MySQL 支援從 Percona Toolkit 備份出來的檔案還原了:「Easily restore an Amazon RDS MySQL database from your MySQL backup」。 Starting today you can easily restore a new Amazon RDS for MySQL database instance from a backup of your existing … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, MySQL, Network, Service, Software|Tagged , , , , , , , , , , , |Leave a comment

Amazon Athena 可以透過 ODBC 連接了

Amazon Athena 支援 ODBC 了 (先前直接連結只支援 JDBC):「Amazon Athena adds support for querying data using an ODBC driver」。 With the availability of a new ODBC driver, you can now connect popular business intelligence tools to Athena. This allows you to report … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, Programming, Service, Software|Tagged , , , , , , , , , , , , |Leave a comment

從 Cassandra 到 ScyllaDB 的轉移方式好像跟以前不太一樣了...

在「New Docs: Four Phases to Migrate from Apache Cassandra to Scylla」這邊看到 ScyllaDB 官方提供 Cassandra 轉移到 ScyllaDB 的說明,跟以前好像差蠻多的... 以前 ScyllaDB 可以直接加入到 Cassandra 的 cluster (一時間沒找到資料,但在「can not add node with cassandra ami · Issue #107 · scylladb/scylla-cluster-tests」可以看到當時的痕跡),現在給的方法是在資料庫不相容時的轉移方式 (像是從 MySQL 轉換到 PostgreSQL 這種),是暗示已經沒辦法這樣做了嗎? … Continue reading

Posted in Cassandra, Computer, Database, Murmuring, Network, Software|Tagged , , , , , , , |Leave a comment

Amazon ElastiCache 可以讓你動態改 Redis 大小

Amazon ElastiCache 的 Redis 可以動態改大小了 (Online Resizing):「Amazon ElastiCache Update – Online Resizing for Redis Clusters」。 不過目前看起來只有 Cluster Mode 的才支援: 設定要加 sharding: 然後就開始跑: 另外也可以 rebalance: 這樣就省了一些功夫...

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, Service, Software|Tagged , , , , , , , , , |Leave a comment

MySQL 上的全文搜尋引擎:Mroonga

算是無意間翻到的資料,MySQL 上的全文搜尋引擎:「Mroonga」。 看起來後面主要是日本社群?從 2010 年就開始發展了,號稱 CJK 都支援,而且各大作業系統也都有預先包好的版本 (像是 Ubuntu 上有 PPA)。 雖然現在社群音量最大的應該還是 Elasticsearch,但看起來頗有趣的,對於只是想要架個小東西玩的專案,說不定是個有趣的方案?

Posted in Computer, Database, Murmuring, MySQL, Search Engine, Software|Tagged , , , , , , , , , , , |Leave a comment

大型 WordPress 站台會用到的 LudicrousDB (以及 HyperDB)

最近收到 HyperDB 的 mailing list 信件 (開頭是「[HyperDB] How can I set up HyperDB with latest version.」這封),有人提到 HyperDB 很久沒更新了... 結果在信理看到有人回了「stuttter/ludicrousdb」這個專案: LudicrousDB is an advanced database interface for WordPress that supports replication, failover, load balancing, & partitioning 兩個專案都是抽換掉 WordPress 在處理 database 的 … Continue reading

Posted in Blog, Computer, Database, Library, Murmuring, MySQL, Network, Programming, Software|Tagged , , , , , , , , , , , , |Leave a comment

在 MOPCON 2017 的 Unconference「MySQL to NoSQL & Search Engine」

把投影片傳到 Speaker Deck 上了:「MySQL to NoSQL & Search Engine」。 這是在介紹 noplay/python-mysql-replication 這個軟體,我在示範時用的 python script 有增加 blocking 參數讓他保持一直讀取 MySQL replication stream: from pymysqlreplication import BinLogStreamReader mysql_settings = {'host': '127.0.0.1', 'port': 3306, 'user': 'root', 'passwd': ''} stream = BinLogStreamReader(connection_settings = mysql_settings, server_id=100, … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Network, Programming, Service, Software|Tagged , , , , , , , , , , , , , |Leave a comment

Amazon Aurora (MySQL) 推出的 Asynchronous Key Prefetch

Amazon Aurora (MySQL) 推出新的效能改善,可以改善 JOIN 時的效能:「Amazon Aurora (MySQL) Speeds Join Queries by More than 10x with Asynchronous Key Prefetch」。 看起來像是某個情況的 optimization,將可能的 random access 換成 sequential access 而得到大量的效能: This feature applies to queries that require use of the Batched Key Access … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, MySQL, Network, Software|Tagged , , , , , , , , , , , , , , , , , , , , , , |Leave a comment