Tag Archives: sql

對於按讚數排名的方法

Posted on July 30, 2017 by Gea-Suan Lin

前幾天看到一篇 2009 年的老文章，在討論使用者透過「喜歡」以及「不喜歡」投票後，要怎麼排名的方法：「How Not To Sort By Average Rating」。 基本的概念是當使用者投票數愈多時就會愈準確，透過統計方法可以算一個信賴區間，再用區間的下限來排... 但沒想到公式「看起來」這麼複雜 XDDD Score = Lower bound of Wilson score confidence interval for a Bernoulli parameter 但實際的運算其實沒那麼複雜，像是 Ruby 的程式碼可以看出大多都是系統內的運算就可以算出來。其中的 z 在大多數的情況下是常數。 require 'statistics2' def ci_lower_bound(pos, n, confidence) if n == 0 … Continue reading →

Posted in Computer, Murmuring, Programming | Tagged , , , , , , , , , , , , , , , | Leave a comment

AWS 東京區支援 Amazon Athena 了

Posted on June 26, 2017 by Gea-Suan Lin

很簡單但也很直接的消息公佈，AWS 宣佈在東京區與新加坡區支援 Amazon Athena 了：「Amazon Athena is now available in Asia Pacific (Singapore) and Asia Pacific (Tokyo)」。 這樣就不需要在美國跑完丟回日本了...

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, Programming, Service, Software | Tagged , , , , , , , | Leave a comment

MySQL 總算要拔掉 mysql_query_cache 了

Posted on May 31, 2017 by Gea-Suan Lin

半官方的 MySQL blog 上宣佈了拔掉 mysql_query_cache 的計畫：「MySQL 8.0: Retiring Support for the Query Cache」。 作者開頭引用了 ProxySQL 的人對 MySQL Query Cache 的說明： Although MySQL Query Cache was meant to improve performance, it has serious scalability issues and it can easily become a … Continue reading →

Posted in Computer, Database, Murmuring, MySQL, Network, Software | Tagged , , , , , , , , , , , , , , , , , , | Leave a comment

CockroachDB 1.0

Posted on May 21, 2017 by Gea-Suan Lin

CockroachDB 推出 1.0 版：「CockroachDB 1.0 is Production-Ready」。CockroachDB 是希望在分散式環境裡打造出有 ACID 特性的服務，這點類似於 Google 的 Spanner 架構。 整個系統主要是用 Go 寫成，支援 PostgreSQL 協定，這讓許多現成的應用可以接上去： Use existing PostgreSQL client drivers or supported ORMs. 而另外一邊有支援 MySQL 協定的 TiDB (剛好也是用 Go 寫的)，整個 NewSQL 領域東西愈來愈多了...

Posted in Computer, Database, Murmuring, Network, PostgreSQL, Software | Tagged , , , , , , , , , , , | Leave a comment

SQL 的各種 JOIN

Posted on April 25, 2017 by Gea-Suan Lin

SQL 的各種 JOIN 其實是個很好玩的主題，不是很難，但沒有仔細練習過一次通常只能答出常用的那幾種... 而且過一陣子又會忘記 XD 這幾天不知道哪邊看到的舊文章「Say NO to Venn Diagrams When Explaining JOINs」，這篇作者大聲疾呼不要用 Venn diagram 解釋 SQL 的 JOIN，把比較特別的 JOIN 拿出來舉例... 因為 Venn diagram 是講集合交聯集這類的操作，但 JOIN 不僅僅是如此... 舉例來說，CROSS JOIN 對應到 cartesian product 就沒辦法用 Venn diagram 簡單的表示出來，而必須畫的更「具體」：

Posted in Computer, Database, Murmuring, Programming, Software | Tagged , , , , , , , , , | Leave a comment

Google 的 Cloud Spanner

Posted on February 16, 2017 by Gea-Suan Lin

Google 把 Cloud Spanner 這個服務拿出來賣了：「Introducing Cloud Spanner: a global database service for mission-critical applications」，以及說明的「Inside Cloud Spanner and the CAP Theorem」。 Cloud Spanner 的規劃上是希望有 RDBMS 的能力 (像是 ACID 特性)，又有強大的擴充能力 (scalability) 與可用性 (availability)： Today, we’re excited to announce the public beta for … Continue reading →

Posted in Cloud, Computer, Database, Murmuring, Network, Software | Tagged , , , , , , , , , , , , , , , , , , , | Leave a comment

Swap 對 InnoDB 的影響

Posted on January 15, 2017 by Gea-Suan Lin

Percona 的老大拿 5.7 版做實驗，確認 swap 對 InnoDB 的影響：「The Impact of Swapping on MySQL Performance」。 測試的機器是 32GB RAM，作業系統 (以及 swap) 裝在已經有點年紀的 Intel 520 SSD 上，而 MySQL 則是裝在 Intel 750 NVMe 上。透過對 innodb_buffer_pool 的調整來看情況。 可以看到設為 24GB (記憶體 75% 的量) 時很穩定的在 44K QPS … Continue reading →

Posted in Computer, Database, Hardware, Murmuring, MySQL, Software | Tagged , , , , , , , , , , , , , , , | Leave a comment

Amazon Aurora 支援 Auditing

Posted on January 13, 2017 by Gea-Suan Lin

AWS 的人把 auditing plugin 移植到 Amazon Aurora 的 MySQL 環境上了：「Auditing an Amazon Aurora Cluster」。 官方宣稱的效能很好，打開後不會掉太多： 主要原因是把寫 auditing log 這塊改寫掉： 這樣看起來頗不錯，平常其實可以開起來讓他記錄？

Posted in AWS, Cloud, Computer, Database, MariaDB, Murmuring, MySQL, Network, Security, Software | Tagged , , , , , , , , , , , , , | Leave a comment

線上測試 SQL Injection 喔喔喔

Posted on January 6, 2017 by Gea-Suan Lin

在「An SQL Injection Attack Is a Legal Company Name in the UK」這邊看到英國的這家公司：「; DROP TABLE "COMPANIES";-- LTD」，根本就是在幫大家測試 XDDD 當然，大家也都馬上聯想到這則 xkcd 漫畫：「Exploits of a Mom」。 來招喚 QQ 姊翻譯這則 xkcd 漫畫？

Posted in Computer, Database, Joke, Murmuring, Network, Recreation, Security, Social, Software, WWW | Tagged , , , , , , , , , , , , , , , | Leave a comment

MySQL GTID Replication 的惡搞修復

Posted on December 10, 2016 by Gea-Suan Lin

Percona 的「Database Daily Ops Series: GTID Replication」這篇在講當 MySQL 的 GTID Replication 爛掉時可能的修法，算是頗惡搞的方法，修好後還是要跑 pt-table-checksum 確認兩邊的資料是否一致，如果有狀況的話還是得拿出 pt-table-sync 同步。 第一招是用 pt-slave-restart，跳過會造成問題 SQL，讓他強制同步 (唔)： This passes the master’s UUID and it skips all global transactions breaking replication on a specific slave server[.] 第二招是 mysqlslavetrx，也是類似的作法，只是拿的是 … Continue reading →

Posted in Computer, Database, Murmuring, MySQL, Software | Tagged , , , , , , , , , , , | Leave a comment