Category Archives: PostgreSQL

在 Production 上惡搞 PostgreSQL,建立一千萬筆 Index...

在「Running 10 Million PostgreSQL Indexes In Production (And Counting)」這邊看到 Heap 他們在 PostgreSQL 上惡搞的方式。 為了效能,所以在上面建立了大量的 Partial index。像是這樣的條件 (所以其實每個都不算太大): CREATE INDEX ON events (time) WHERE type = ‘click’ AND text = ‘login’ 要注意的是 MySQL 的 Partial index 其實是 prefix index,用以減少 index 的空間要求,這在 … Continue reading

Posted in Computer, Database, Murmuring, PostgreSQL, Software | Tagged , , , , , , , , | Leave a comment

用 Machine Learning 調校資料庫

AWS AI Blog 在月初上放出來的消息:「Tuning Your DBMS Automatically with Machine Learning」。 Carnegie Mellon Database Group 做的研究,除了預設值以外,另外跟四種不同的參數做比較,分別是 OtterTune (也就是這次的研究)、Tuning script (對於不熟資料庫的人,常用的 open source 工具)、DBA 手動調整,以及 RDS: MySQL: PostgreSQL: 比較明顯的結論是: Default 值在所有的 case 下都是最差的 (無論是 MySQL 與 PostgreSQL 平台,以及包括 99% 的 Latency 與 … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, MySQL, Network, PostgreSQL, Programming, Service, Software | Tagged , , , , , , , , , , , , , , , , , , , , , , , , , , , | Leave a comment

Amazon Aurora 的論文

AWS 老大介紹自家產品 Amazon Aurora 的論文:「Weekend Reading: Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases.」,論文在「Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases」這邊可以取得。 Amazon Aurora 算是用很特別的架構達到高可靠架構的需求,主要用了一堆已經很強大的底層,像是用 Amazon S3 來交換一堆資料。 不過 AWS 在論文裡的比較的事情其實並不合現實,因為現在的 MySQL 在做分散式架構時的方式其實並不一樣 (i.e. Galera Cluster),論文裡提的很多比較的項目,其實都不是其他方式會遇到的問題,所以就看看就好,畢竟是在推銷自家產品...

Posted in AWS, Cloud, Computer, Database, Murmuring, MySQL, Network, PostgreSQL, Software | Tagged , , , , , , , , , , , | Leave a comment

CockroachDB 1.0

CockroachDB 推出 1.0 版:「CockroachDB 1.0 is Production-Ready」。CockroachDB 是希望在分散式環境裡打造出有 ACID 特性的服務,這點類似於 Google 的 Spanner 架構。 整個系統主要是用 Go 寫成,支援 PostgreSQL 協定,這讓許多現成的應用可以接上去: Use existing PostgreSQL client drivers or supported ORMs. 而另外一邊有支援 MySQL 協定的 TiDB (剛好也是用 Go 寫的),整個 NewSQL 領域東西愈來愈多了...

Posted in Computer, Database, Murmuring, Network, PostgreSQL, Software | Tagged , , , , , , , , , , , | Leave a comment

Amazon Aurora 支援 PostgreSQL

Amazon Aurora 宣佈支援 PostgreSQL:「Amazon Aurora Update – PostgreSQL Compatibility」。 宣稱效能是原來的兩倍: Performance – Aurora delivers up to 2x the performance of PostgreSQL running in traditional environments. 目前是 Preview 版本,需要另外申請才能用。

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, PostgreSQL, Software | Tagged , , , , , , , , , | Leave a comment

PostgreSQL 上,直接將 SSD 的內容送到 GPU 上,加速讀取速度

在 PostgreSQL 上針對讀取檔案到 GPU 上的成果:「GpuScan + SSD-to-GPU Direct DMA」(日文版)、「(EN) GpuScan + SSD-to-GPU Direct DMA」(英文版)。 主要的原因在於雖然已經有 PGStorm 讓 PostgreSQL 把運算丟到 GPU 上加速,但從 disk 讀到 GPU 這段還是有改善的空間: PG-Strom that is an extension of PostgreSQL to off-load multiple SQL workloads on GPU devices, … Continue reading

Posted in Computer, Database, Hardware, Murmuring, PostgreSQL, Software | Tagged , , , , , , , , , , , | Leave a comment

Yandex.Mail 從 Oracle 搬移到 PostgreSQL 上的故事

在 Hacker News Daily 上看到 Yandex.Mail 從 Oracle 搬到 PostgreSQL 的故事:「Yandex.Mail success story」。 首先是在 Oracle-based 的系統上遇到的問題: 除了技術類的問題外,這個「Not very responsive support」可以看到對 Oracle 的服務很不滿意。 另外下一張投影片只講 shop.oracle.com 是主要原因... 我猜是 Oracle 在開始提供 cloud service 後把售價都拉高。在最後的 Summary 看起來也有點像: 雖然沒有講明換 PostgreSQL 的理由,但注意到「3x more hardware」這點,這表示是原來的四倍。在這樣的情況下還是要換,可以猜測 Oracle 的授權費用在 … Continue reading

Posted in Computer, Database, Mail, Murmuring, Network, PostgreSQL, Software | Tagged , , , , , , | Leave a comment

最近討論 Uber 的 MySQL 換 PostgreSQL 後又換回 MySQL 的文章...

先把兩份連結丟出來,一份是 PyPgDay 2013 時由 Uber 的 Evan Klitzke 給的「Migrating Uber from MySQL to PostgreSQL」,原 PDF 連結已經失效 (看起來已經被刪除),但這個網路年代什麼都可以找到備份... 可以在「Migrating Uber from MySQL to PostgreSQL」取得,但這個網站怪怪的,我另外丟了一份到 Google Docs 上。 另外一份則是同一個人 Evan Klitzke 在 2016 年發表於公司的官方網站上:「Why Uber Engineering Switched from Postgres to MySQL」。 2013 … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Network, Political, PostgreSQL, Software | Tagged , , , , , , , , , , | 3 Comments

Amazon Redshift 可以透過 IAM Role 直接 COPY 與 UNLOAD 了

Amazon Redshift 的這個功能等了好久啊,之前都要自己指定 key 與 secret,不只讓程式寫起來變麻煩,安全性也一直是個問題:「Amazon Redshift now supports using IAM roles with COPY and UNLOAD commands」。 之前的指令是: COPY ... FROM ... WITH CREDENTIALS 'aws_access_key_id=access-key-id;aws_secret_access_key=secret-access-key' ... 現在都可以透過 IAM Role 省下這些功夫...

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, PostgreSQL, Security, Software | Tagged , , , , , , , | Leave a comment

A Billion Taxi Rides 資料分析系列

Mark Litwintschik 最近在連載 A Billion Taxi Rides 的資料分析系列作品: A Billion Taxi Rides in Redshift A Billion Taxi Rides in Hive & Presto A Billion Taxi Rides on Amazon EMR running Presto A Billion Taxi Rides on Amazon EMR running Spark … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, PostgreSQL, Software | Tagged , , , , , , , , , , | Leave a comment