Tag Archives: sql

Amazon Athena:直接在 S3 上進行分析

Amazon Athena 提供另外一種選擇,讓分析的便利性增加了許多:「Amazon Athena – Interactive SQL Queries for Data in Amazon S3」。 以往都需要開 server 起來分析,這個新的服務直接使用就好: Athena is based on the Presto distributed SQL engine and can query data in many different formats including JSON, CSV, log files, text with … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, Software | Tagged , , , , , , , , , , , , , | Leave a comment

MySQL 8.0 將會實作「真正的」Descending Indexes

在「MySQL 8.0 Labs – Descending Indexes in MySQL」這邊看到 MySQL 打算在 8.0 時實作出真正的 Descending Indexes。在 5.7 以及之前的版本,可以從「14.1.14 CREATE INDEX Syntax」看到這個參數是~假~的~XDDD An index_col_name specification can end with ASC or DESC. These keywords are permitted for future extensions for specifying ascending or descending … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Software | Tagged , , , , , , , , , , , , | Leave a comment

PostgreSQL 上,直接將 SSD 的內容送到 GPU 上,加速讀取速度

在 PostgreSQL 上針對讀取檔案到 GPU 上的成果:「GpuScan + SSD-to-GPU Direct DMA」(日文版)、「(EN) GpuScan + SSD-to-GPU Direct DMA」(英文版)。 主要的原因在於雖然已經有 PGStorm 讓 PostgreSQL 把運算丟到 GPU 上加速,但從 disk 讀到 GPU 這段還是有改善的空間: PG-Strom that is an extension of PostgreSQL to off-load multiple SQL workloads on GPU devices, … Continue reading

Posted in Computer, Database, Hardware, Murmuring, PostgreSQL, Software | Tagged , , , , , , , , , , , | Leave a comment

MySQL 8.0 的 performance_schema 加上 index 了...

MySQL 8.0 是 MySQL 5.7 的後續版本,中間的 6.0 與 7.0 都有一些故事,就被跳過去了,跟 PHP 的情況有點像。 在 8.0 版將會把 performance_schamea 加上 index,讓查詢的速度變快:「MySQL 8.0: Performance Schema, now with indexes!」: In MySQL 8.0, performance_schema tables are now indexed to speed up data retrieval. A total of … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Software | Tagged , , , , , , , , , , | Leave a comment

MySQL 全系列的安全性漏洞

包含 MySQL 本家與所有從 MySQL 改出去的分支都中了,引用 Percona 的通報:「Percona Server Critical Update CVE-2016-6662」。 This is a CRITICAL update, and the fix mitigates the potential for remote root code execution. 原始的 security advisory 在「CVE-2016-6662 - MySQL Remote Root Code Execution / Privilege Escalation … Continue reading

Posted in Computer, Database, MariaDB, Murmuring, MySQL, Network, Security, Software | Tagged , , , , , , , , , , , , , | 1 Comment

Scylla 1.3

看到 Scylla 正式公告 1.3 版的消息了:「Scylla release: version 1.3」。 Scylla 是用 C++ 重寫 Java 版本的 Cassandra 所有東西 (包括資料結構與 Protocol),目標是做到可以完全相容替換現有 Cassandra Cluster。(號稱可以一台一台移除 Cassandra 的程式,裝上 Scylla 後就可以無痛換過去) 而 Scylla 另外一個重點是效能的提昇,官方宣稱在完整最佳化的情況下是 10x 以上的效能提昇,之前拿 AWS 實測 (沒有完整最佳化) 也可以看到 2x 到 4x 的數字,對於目前的 Cassandra 應用來說極為重要。 1.3 … Continue reading

Posted in Computer, Database, Murmuring, Network, Programming, Software | Tagged , , , , , , , , | Leave a comment

Yelp 對 MySQL 更新的資料送到 Kafka 的作法

Apache Kafka 是個 pub-sub 系統: Apache Kafka is publish-subscribe messaging rethought as a distributed commit log. 而 Yelp 的人想要將 MySQL 的更新資訊送一份到 Kafka 就可以做很多應用。文章前面介紹了很多原理以及理論,像是講 MySQL 的 replication: 但讀這篇文章發現重點在於他介紹了 GitHub 上的「noplay/python-mysql-replication」這個專案: Our stream reader is an abstraction over the BinLogStreamReader from the … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Programming, Software | Tagged , , , , , , | Leave a comment

MySQL 5.7 的 Pipeline 查詢加速

在「MySQL 5.7.12 – Part 2: Improving the MySQL Protocol」這邊看到介紹 MySQL 的 Asynchronous API,藉由 pipeline 加速查詢。 本來的: res_1 = conn.query("DO 1"); res_2 = conn.query("DO 2"); 會產生這樣的 flow: 而 Asynchronous API 可以這樣寫,先把兩個 SQL query 都丟出去,然後等結果: hndl_1 = conn.query_send("DO 1"); hndl_2 = conn.query_send("DO … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Programming, Software | Tagged , , , , , , | Leave a comment

Jennifer Null 的故事...

在「These unlucky people have names that break computers」這邊看到了這個故事,Jennifer Null 因為 "Null" 而導致在很多電腦系統上出錯,這讓我想到這個經典的 xkcd 笑話: 滿滿的 SQL injection 的味道 XDDD

Posted in Computer, Database, Joke, Murmuring, Programming, Recreation, Security, Social, Software | Tagged , , , , , , | Leave a comment

AWS Database Migration Service

AWS 正式向所有使用者開放「AWS Database Migration Service」了:「AWS Database Migration Service」。 AWS 把前置作業 (setup & initial backup) 與 replication 的部份都包好,讓使用者可以很輕鬆的轉移。 支援的來源資料庫種類包括了這五種: Supported database sources include: (1) Oracle, (2) SQL Server, (3) MySQL, (4) Amazon Aurora and (5) PostgreSQL. All sources are supported on-premises, … Continue reading

Posted in AWS, Cloud, Computer, Database, MariaDB, Murmuring, MySQL, Network, PostgreSQL, Software | Tagged , , , , , , , , , , , , , | Leave a comment