Tag Archives: database

PostgreSQL 上,直接將 SSD 的內容送到 GPU 上,加速讀取速度

在 PostgreSQL 上針對讀取檔案到 GPU 上的成果:「GpuScan + SSD-to-GPU Direct DMA」(日文版)、「(EN) GpuScan + SSD-to-GPU Direct DMA」(英文版)。 主要的原因在於雖然已經有 PGStorm 讓 PostgreSQL 把運算丟到 GPU 上加速,但從 disk 讀到 GPU 這段還是有改善的空間: PG-Strom that is an extension of PostgreSQL to off-load multiple SQL workloads on GPU devices, … Continue reading

Posted in Computer, Database, Hardware, Murmuring, PostgreSQL, Software | Tagged , , , , , , , , , , , | Leave a comment

MySQL 8.0 的 performance_schema 加上 index 了...

MySQL 8.0 是 MySQL 5.7 的後續版本,中間的 6.0 與 7.0 都有一些故事,就被跳過去了,跟 PHP 的情況有點像。 在 8.0 版將會把 performance_schamea 加上 index,讓查詢的速度變快:「MySQL 8.0: Performance Schema, now with indexes!」: In MySQL 8.0, performance_schema tables are now indexed to speed up data retrieval. A total of … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Software | Tagged , , , , , , , , , , | Leave a comment

Yandex.Mail 從 Oracle 搬移到 PostgreSQL 上的故事

在 Hacker News Daily 上看到 Yandex.Mail 從 Oracle 搬到 PostgreSQL 的故事:「Yandex.Mail success story」。 首先是在 Oracle-based 的系統上遇到的問題: 除了技術類的問題外,這個「Not very responsive support」可以看到對 Oracle 的服務很不滿意。 另外下一張投影片只講 shop.oracle.com 是主要原因... 我猜是 Oracle 在開始提供 cloud service 後把售價都拉高。在最後的 Summary 看起來也有點像: 雖然沒有講明換 PostgreSQL 的理由,但注意到「3x more hardware」這點,這表示是原來的四倍。在這樣的情況下還是要換,可以猜測 Oracle 的授權費用在 … Continue reading

Posted in Computer, Database, Mail, Murmuring, Network, PostgreSQL, Software | Tagged , , , , , , | Leave a comment

Amazon Aurora 支援 Reader Endpoint

Amazon Aurora 支援 Reader Endpoint,讓讀的部份可以打散掉:「New Reader Endpoint for Amazon Aurora – Load Balancing & Higher Availability」。 讀的部份比較容易 scale (常見的方式是透過 replication 做到),而現在很多 database framework (包括各類的 ORM framework) 都支援讀寫分離,這個支援對於系統的 scale 來說幫忙頗大。 不過不知道會不會有 replication lag 的問題,我猜是會有...

Posted in AWS, Cloud, Computer, Database, Murmuring, MySQL, Network, Software | Tagged , , , , , , , , , , , , , , , , , | Leave a comment

MySQL 全系列的安全性漏洞

包含 MySQL 本家與所有從 MySQL 改出去的分支都中了,引用 Percona 的通報:「Percona Server Critical Update CVE-2016-6662」。 This is a CRITICAL update, and the fix mitigates the potential for remote root code execution. 原始的 security advisory 在「CVE-2016-6662 - MySQL Remote Root Code Execution / Privilege Escalation … Continue reading

Posted in Computer, Database, MariaDB, Murmuring, MySQL, Network, Security, Software | Tagged , , , , , , , , , , , , , | 1 Comment

Percona 對 MySQL Index 效用的基本教學

Percona 好像偶而就會整理一篇類似的文章出來... 這次是對 MySQL 上線後,關於 Index 的設計研究:「Basic Housekeeping for MySQL Indexes」。 包括了這幾個主題: Unused indexes Duplicated indexes Potentially missing indexes Multiple column indexes order 這幾點都還蠻基本的,不過這些都做完了之後效能應該不會太差,算是上線後的觀測基本功...

Posted in Computer, Database, Murmuring, MySQL, Software | Tagged , , , , | Leave a comment

Scylla 1.3

看到 Scylla 正式公告 1.3 版的消息了:「Scylla release: version 1.3」。 Scylla 是用 C++ 重寫 Java 版本的 Cassandra 所有東西 (包括資料結構與 Protocol),目標是做到可以完全相容替換現有 Cassandra Cluster。(號稱可以一台一台移除 Cassandra 的程式,裝上 Scylla 後就可以無痛換過去) 而 Scylla 另外一個重點是效能的提昇,官方宣稱在完整最佳化的情況下是 10x 以上的效能提昇,之前拿 AWS 實測 (沒有完整最佳化) 也可以看到 2x 到 4x 的數字,對於目前的 Cassandra 應用來說極為重要。 1.3 … Continue reading

Posted in Computer, Database, Murmuring, Network, Programming, Software | Tagged , , , , , , , , | Leave a comment

Yelp 對 MySQL 更新的資料送到 Kafka 的作法

Apache Kafka 是個 pub-sub 系統: Apache Kafka is publish-subscribe messaging rethought as a distributed commit log. 而 Yelp 的人想要將 MySQL 的更新資訊送一份到 Kafka 就可以做很多應用。文章前面介紹了很多原理以及理論,像是講 MySQL 的 replication: 但讀這篇文章發現重點在於他介紹了 GitHub 上的「noplay/python-mysql-replication」這個專案: Our stream reader is an abstraction over the BinLogStreamReader from the … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Programming, Software | Tagged , , , , , , | Leave a comment

Ruby 上使用 DynamoDB 的函式庫:aws-record

AWS 正式發表了在 Ruby 上使用 DynamoDB 的 library:「Announcing General Availability of aws-record」。 GitHub 連結在「aws/aws-sdk-ruby-record」,而 Ruby Gems 的連結在「aws-record」。 這樣用起來更簡單了...

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, Programming, Software | Tagged , , , , , , , , , | 1 Comment

對 NoSQL 分析的大量說明與圖表

在 Twitter 上看到「NoSQL Databases: a Survey and Decision Guidance」這邊有夠長的,對於還不熟悉目前 NoSQL 常用到的理論技術的人,剛好可以拿來看一看... 對於熟悉的人來說,這些圖表整理的頗不錯: 不過 NoSQL 裡面頗多地雷,大家保持健康的心態用就是了 XDDD

Posted in Computer, Database, Murmuring, Software | Tagged , , , | Leave a comment