Category Archives: PostgreSQL

Amazon Aurora 也支援 PostgreSQL 了

AWS 宣佈 Amazon Aurora 也支援 PostgreSQL 了,相容於 9.6.3 的版本 (應該就是改自這個版本):「Now Available – Amazon Aurora with PostgreSQL Compatibility」。 效能上一樣有提昇,不過數字參考用: On the performance side, you can expect up to 3x the throughput that you’d get if you ran PostgreSQL on your own … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, PostgreSQL, Service, Software|Tagged , , , , , , , , , |Leave a comment

Amazon RDS 的 RI 也支援彈性計價了

AWS 宣佈 RDS 的 RI 也支援彈性計價了:「Amazon RDS Reserved Instances Offer Instance Size Flexibility」。 也就是說跟 EC2 的 RI 方式切齊,買 db.m4.2xlarge 的 RI 後,可以用在兩台 db.m4.xlarge 上: For example, let’s say you purchased a db.m4.2xlarge MySQL RI in US East (N. Virginia). The … Continue reading

Posted in AWS, Cloud, Computer, Database, MariaDB, Murmuring, MySQL, Network, PostgreSQL, Software|Tagged , , , , , , , , , , , , , , |Leave a comment

PostgreSQL 10 發表

PostgreSQL 10 發表,有不少重要的功能 (進步):「PostgreSQL 10 Released」。 首先提到的是 Logical Replication: Logical Replication - A publish/subscribe framework for distributing data 以往內建的 replication 是 block level change (同步哪個 block 改變的內容),對於版本不同的 PostgreSQL 就會痛。所以在 10 之前,想要處理 PostgreSQL 版本不同的問題都會使用第三方套件 (一種常見的情境就是資料庫的版本升級)。在 10 內建支援 Logical Replication 後就不需要掛其他套件了: Logical … Continue reading

Posted in Computer, Database, Murmuring, PostgreSQL, Software|Tagged , , , , , , , , , , , , , , , , |Leave a comment

Heimdall Data:自動 Cache RDBMS 資料增加效能

看到 AWS 的「Automating SQL Caching for Amazon ElastiCache and Amazon RDS」這篇裡面介紹了 Heimdall Data – SQL caching and performance optimization 這個產品。 從官網的介紹也可以看出來是另外疊一層 proxy,但自動幫你處理 cache invalidation 的問題: But what makes Heimdall Data unique in industry is its auto-cache AND auto-invalidation capability. Our … Continue reading

Posted in AWS, Cloud, Computer, Database, MariaDB, Murmuring, MySQL, Network, PostgreSQL, Service, Software|Tagged , , , , , , , , , , , , , , , , |Leave a comment

在 Production 上惡搞 PostgreSQL,建立一千萬筆 Index...

在「Running 10 Million PostgreSQL Indexes In Production (And Counting)」這邊看到 Heap 他們在 PostgreSQL 上惡搞的方式。 為了效能,所以在上面建立了大量的 Partial index。像是這樣的條件 (所以其實每個都不算太大): CREATE INDEX ON events (time) WHERE type = ‘click’ AND text = ‘login’ 要注意的是 MySQL 的 Partial index 其實是 prefix index,用以減少 index 的空間要求,這在 … Continue reading

Posted in Computer, Database, Murmuring, PostgreSQL, Software|Tagged , , , , , , , , |Leave a comment

用 Machine Learning 調校資料庫

AWS AI Blog 在月初上放出來的消息:「Tuning Your DBMS Automatically with Machine Learning」。 Carnegie Mellon Database Group 做的研究,除了預設值以外,另外跟四種不同的參數做比較,分別是 OtterTune (也就是這次的研究)、Tuning script (對於不熟資料庫的人,常用的 open source 工具)、DBA 手動調整,以及 RDS: MySQL: PostgreSQL: 比較明顯的結論是: Default 值在所有的 case 下都是最差的 (無論是 MySQL 與 PostgreSQL 平台,以及包括 99% 的 Latency 與 … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, MySQL, Network, PostgreSQL, Programming, Service, Software|Tagged , , , , , , , , , , , , , , , , , , , , , , , , , , , |Leave a comment

Amazon Aurora 的論文

AWS 老大介紹自家產品 Amazon Aurora 的論文:「Weekend Reading: Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases.」,論文在「Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases」這邊可以取得。 Amazon Aurora 算是用很特別的架構達到高可靠架構的需求,主要用了一堆已經很強大的底層,像是用 Amazon S3 來交換一堆資料。 不過 AWS 在論文裡的比較的事情其實並不合現實,因為現在的 MySQL 在做分散式架構時的方式其實並不一樣 (i.e. Galera Cluster),論文裡提的很多比較的項目,其實都不是其他方式會遇到的問題,所以就看看就好,畢竟是在推銷自家產品...

Posted in AWS, Cloud, Computer, Database, Murmuring, MySQL, Network, PostgreSQL, Software|Tagged , , , , , , , , , , , |Leave a comment

CockroachDB 1.0

CockroachDB 推出 1.0 版:「CockroachDB 1.0 is Production-Ready」。CockroachDB 是希望在分散式環境裡打造出有 ACID 特性的服務,這點類似於 Google 的 Spanner 架構。 整個系統主要是用 Go 寫成,支援 PostgreSQL 協定,這讓許多現成的應用可以接上去: Use existing PostgreSQL client drivers or supported ORMs. 而另外一邊有支援 MySQL 協定的 TiDB (剛好也是用 Go 寫的),整個 NewSQL 領域東西愈來愈多了...

Posted in Computer, Database, Murmuring, Network, PostgreSQL, Software|Tagged , , , , , , , , , , , |Leave a comment

Amazon Aurora 支援 PostgreSQL

Amazon Aurora 宣佈支援 PostgreSQL:「Amazon Aurora Update – PostgreSQL Compatibility」。 宣稱效能是原來的兩倍: Performance – Aurora delivers up to 2x the performance of PostgreSQL running in traditional environments. 目前是 Preview 版本,需要另外申請才能用。

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, PostgreSQL, Software|Tagged , , , , , , , , , |Leave a comment

PostgreSQL 上,直接將 SSD 的內容送到 GPU 上,加速讀取速度

在 PostgreSQL 上針對讀取檔案到 GPU 上的成果:「GpuScan + SSD-to-GPU Direct DMA」(日文版)、「(EN) GpuScan + SSD-to-GPU Direct DMA」(英文版)。 主要的原因在於雖然已經有 PGStorm 讓 PostgreSQL 把運算丟到 GPU 上加速,但從 disk 讀到 GPU 這段還是有改善的空間: PG-Strom that is an extension of PostgreSQL to off-load multiple SQL workloads on GPU devices, … Continue reading

Posted in Computer, Database, Hardware, Murmuring, PostgreSQL, Software|Tagged , , , , , , , , , , , |Leave a comment