Tag: r

用 Google BigQuery 分析 Reddit 釋出的資料

前幾天有提到 Reddit 官方放出全站的投稿以及 comment 資訊：「Reddit 放出完整的全站投稿資料」，馬上就有人拿工具來分析了：「How to Analyze Every Reddit Submission and Comment, in Seconds, for Free」。

這篇的作者是用 Google 的 BigQuery 分析，而 BigQuery 跟 SQL 操作方法類似，所以我猜用 Amazon Redshift 或是 Apache Spark 應該都可以做到類似的事情吧，就看對工具的熟悉度。圖片則是透過 BigQuery 產生 csv 擋，再透過 R 與 ggplot2 產生出來。

作者給的每張圖都有提供對應的 SQL-like 查詢語法，每張圖的意義也都直接把說明寫上去了，結果還蠻有趣的：

MySQL 5.7.4

在「The MySQL 5.7.4 Milestone Release is available」這篇可以看到 MySQL 5.7.4 的消息。除了 InnoDB 的改善外，可以看到對 AES 加密的功能 (AES Encryption Modes)。

不過...

Historically, and still used as defaults in 5.6 and 5.7, we are using a relatively small key size (128 bits, corresponding to “SECRET” according to NSA) and block mode (ECB, encrypting equal blocks with equal code blocks) to calculate the cipher.

居然是支援 ECB，這會不會驚爆我的眼球啊，我以為最少是 CTR...

ECB 代表相同內容的 block 就會被加密成相同的密文，這樣就有很多可以攻擊的方式了。而 CTR 至少可以抵抗這一點...

另外一個賣點是「InnoDB Spatial Indexes in 5.7.4 LAB release」，目前只支援二維資料：

Currently, InnoDB spatial index supports only two dimension data, but we do have plan to extend to multi-dimension. In addition, we are doing more performance tuning to make it more efficient.

用 R-tree 實做的，畢竟是個開始...