Tag: rds

RDS 支援 Storage Auto Scaling

Amazon RDS 推出了 Storage Auto Scaling：「Amazon RDS now supports Storage Auto Scaling」。

看起來傳統 RDBMS 類的都支援 (也就是非 Aurora 的這些)：

Starting today, Amazon RDS for MariaDB, Amazon RDS for MySQL, Amazon RDS for PostgreSQL, Amazon RDS for SQL Server and Amazon RDS for Oracle support RDS Storage Auto Scaling.

仔細看了一下新聞稿，裡面都只有提到 scale up，沒有提到 scale down，這個功能應該是只會提昇不會下降，所以要注意突然用很多空間，再砍掉後的問題：

RDS Storage Auto Scaling automatically scales storage capacity in response to growing database workloads, with zero downtime.

RDS Storage Auto Scaling continuously monitors actual storage consumption, and scales capacity up automatically when actual utilization approaches provisioned storage capacity.

除了香港外的所有商業區域都提供：

RDS Storage Auto Scaling is available in all commercial AWS regions except in Asia Pacific (Hong Kong) and AWS GovCloud.

Amazon Aurora with MySQL 5.7 支援 GTID

雖然在 AWS 上服務的 HA 大多都不需要自己管理，但備份機制 (甚至異地備援) 還是要自己規劃，Amazon Aurora with MySQL 的 GTID 功能算是讓這塊多了一個選擇：「Amazon Aurora with MySQL 5.7 Compatibility Supports GTID-Based Replication」。

公告裡面有提到 Aurora 自己的 replication 還是用自己的機制，而非透過 GTID 做的：

This provides complete consistency when using binlog replication between an Aurora database and an external MySQL database. Your replication won’t miss transactions or generate conflicts, even after failover or downtime. (Note that replication within an Aurora cluster doesn't use binlog files, so the GTID feature doesn't apply.)

不過就 Aurora 的架構來說，整個 cluster 比較像是看作一個整體，用 binlog + position 應該是夠用的？也不會有 failover 時的 conflict 問題？不確定用 GTID 的好處會在哪邊，還得再想看看...

Amazon Aurora Global Database

AWS 對 Aurora (MySQL) 推出 Amazon Aurora Global Database：「Announcing Amazon Aurora Global Database」。

看起來不是 multi-master (從 secondary region 這個字看)，所以寫入的部分還是得送回 primary region 處理：

Aurora Global Database uses storage-based replication with typical latency of less than 1 second, using dedicated infrastructure that leaves your database fully available to serve application workloads. In the unlikely event of a regional degradation or outage, one of the secondary regions can be promoted to full read/write capabilities in less than 1 minute.

應該是單一 endpoint 幫你處理這些雜事...

Amazon Lightsail 也把 RDS 拿出來賣了...

RDS (MySQL) 也被 Amazon Lightsail 包裝出來賣了：「New – Managed Databases for Amazon Lightsail」。

目前支援 MySQL 5.6 與 MySQL 5.7：

We are launching with support for MySQL 5.6 and 5.7, and will add support for PostgreSQL 9.6 and 10 very soon.

然後規格與價位，其中頻寬費用是指不同區時的頻寬 (同一區內的不計費)：

Data Transfer – Data transfer to and from Lightsail instances in the same AWS Region does not count against the usage that is included in your plan.

這個服務應該是目前其他 VPS 沒提供的，這樣可以預期其他 VPS 應該也會被迫推出類似的服務？然後 AWS 也會再搬其他的服務出來賣？

Amazon Aurora 支援 Parallel Query 加速

Amazon Aurora 推出了 Parallel Query，可以加速計算速度：「New – Parallel Query for Amazon Aurora」。原理是利用 Aurora 把 storage 層打散的前提，所以有機會透過螞蟻雄兵處理：

官方給的範例可以連到原文去看，可以看到有打開 aurora_pq 與沒打開的效能差異：

15 rows in set (1 min 53.36 sec)
15 rows in set (1 hour 25 min 51.89 sec)

打開後大約是原來的 1/45 時間，提昇超多...

不過還是有些限制，我最在意的就是目前只支援相容於 MySQL 5.6 的版本 (居然不是先支援 5.7)：

Engine Support – We are launching with support for MySQL 5.6, and are working on support for MySQL 5.7 and PostgreSQL.

然後沒有多餘費用，只是 i/o cost 可能會增加：

Cost – You can make use of Parallel Query at no extra charge. However, because it makes direct access to storage, there is a possibility that your IO cost will increase.

Aurora Serverless MySQL 進入 GA

AWS 宣佈能 auto-scale 的 Aurora Serverless MySQL 進入 GA：「Aurora Serverless MySQL Generally Available」：

不過目前開放的區域有限：

Aurora Serverless for Aurora MySQL is available now in US East (N. Virginia), US East (Ohio), US West (Oregon), Europe (Ireland).

以秒計費，但低消是 5 分鐘：

You pay a flat rate per second of ACU usage, with a minimum of 5 minutes of usage each time the database is activated.

以 us-east-1 的價錢來看，每個 ACU 是 USD$0.06/hour，而每個 ACU 大約是 standard instance 的價錢：

1 ACU has approximately 2 GB of memory with corresponding CPU and networking, similar to what is used in Aurora Standard instances.

但這沒看懂，是 db.t2.small 還是 db.t2.medium？另外比較是全速還是 small 的 20% 或 medium 的 40%？這部份也許還要再問看看才知道...

storage 與 I/O 的費用則是相同，倒是不用比較這塊... 再來不知道有沒有推出 Reserved ACU 的計畫，光是一年付清就差蠻多的。

要不要換過去其實還是要看看使用的量，以及可以接受的成本來決定...

從 Aurora 同步到 EC2 上的 MySQL

Percona 這篇「How to Set Up Replication Between AWS Aurora and an External MySQL Instance」講怎麼設定 Amazon Aurora，把資料同步到外部的 MySQL instance。

其中最重要的應該是你需要透過 snapshot 建出 consistent backup，然後用這份資料去接 Aurora 的 master server：

Create a snapshot and restore it (create a new instance from a snapshot). This is only needed to make a consistent copy with mysqldump. As Aurora does not allow “super” privileges, running mysqldump --master-data is not possible. The snapshot is the only way to get a consistent backup with the specific binary log position.

能拉出來後續就能做很多事情...

MySQL 版本的 Amazon Aurora 會將各種記錄丟到 CloudWatch Logs 了...

剛好今天才被問是不是可以在 Amazon Aurora (MySQL-Compatible Edition) 裡面翻出有哪些 Slow Query，剛好想到這幾天發表了這個功能：「Amazon Aurora Publishes General, Slow Query and Error Logs to Amazon CloudWatch」。

You can now configure the MySQL-compatible edition of Amazon Aurora to publish general logs, slow query logs, and error logs to Amazon CloudWatch Logs. Previously, you could only publish audit logs.

看起來是要另外開 (畢竟 CloudWatch Logs 不是免費的 XD)，不過以這類型的 log 產生速度與數量來說應該還行...

PostgreSQL 的 Amazon RDS Database Preview Environment

AWS 推出了 PostgreSQL 試爆場讓大家測試 XDDD：「Amazon RDS Database Preview Environment is now available」。

可以測還沒有正式 release 的版本：

The Amazon RDS Database Preview Environment is now available, offering an environment for customers to easily test beta, release candidate, and early production versions of PostgreSQL database engine software with the convenience and flexibility of Amazon RDS.

這個產品定位有點奇怪...

在 Amazon Aurora 利用 ProxySQL 的讀寫分離提昇效能

Percona 的「Leveraging ProxySQL with AWS Aurora to Improve Performance, Or How ProxySQL Out-performs Native Aurora Cluster Endpoints」這篇有夠長的，其實就是發現 AWS 的 Amazon Aurora 只使用 Cluster Endpoint 無法壓榨出所有效能，只有當你讀寫分離拆開 Cluster endpoint 與 Reader endpoint 時才能提昇效能。主要是在推銷 ProxySQL 啦，其他的軟體應該也能達到類似的效果...

然後這張怪怪的，應該是 copy & paste 上去的關係？

因為事後再疊 ProxySQL 進去不會太困難，一般還是建議先直接用服務本身提供的 endpoint (少了一層要維護的設備)，等到有遇到效能問題時再來看是卡在哪邊，如果是 R/W split 可以解決的，才用 ProxySQL 或是其他軟體來解...