Tag Archives: json

Amazon Athena：直接在 S3 上進行分析

Posted on December 1, 2016 by Gea-Suan Lin

Amazon Athena 提供另外一種選擇，讓分析的便利性增加了許多：「Amazon Athena – Interactive SQL Queries for Data in Amazon S3」。 以往都需要開 server 起來分析，這個新的服務直接使用就好： Athena is based on the Presto distributed SQL engine and can query data in many different formats including JSON, CSV, log files, text with … Continue reading →

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, Software | Tagged , , , , , , , , , , , , , | Leave a comment

Pinterest 在 InnoDB Compression 的努力

Posted on October 20, 2016 by Gea-Suan Lin

Pinterest 用 InnoDB 儲存各式資料，而且使用了 InnoDB Compression 的功能。他們花了不少力氣跟 Percona 合作改善 InnoDB Compression 的效能：「Evolving MySQL Compression - Part 1」。 文章有點長度，重點在於他們在 MySQL 裡面放了大量的 JSON： A Pin is stored as a 1.2 KB JSON blob in sharded MySQL databases. 他們發現新版 zlib 的 predefined dictionary … Continue reading →

Posted in Computer, Database, Murmuring, MySQL, Software | Tagged , , , , , , , , , | 1 Comment

設計資料同步問題時一定會遇到的 Conflict 解決方案

Posted on August 18, 2016 by Gea-Suan Lin

在「A Conflict-Free Replicated JSON Datatype」這邊看到有趣的東西。(arXiv 說 2016/08/18 會有一個小時的 downtime，台灣時間剛好是 2016/08/18 的 20:20 開始：「Maintenance scheduled for Aug 18 8:20 a.m. EDT」) 作者們設計這個架構是想要在 JSON 結構上找出一個演算法，在 P2P 架構上 (而不需要靠 server) 可以同步並且產生一致的結果，另外要求當 conflict 時不要掉資料： In this paper we present an algorithm and formal semantics … Continue reading →

Posted in Computer, Murmuring, Network, P2P, Programming | Tagged , , , , , , , , | Leave a comment

MySQL 5.7 的 JSON、Virtual Column 以及 Index

Posted on March 9, 2016 by Gea-Suan Lin

Percona 提到了 MySQL 5.7 的 JSON 與 virtual column，再加上 index 後的效能提昇：「JSON document fast lookup with MySQL 5.7」。 每一家都把這些功能給做出來了，在 MySQL 5.7 提供了 JSON 格式： CREATE TABLE `test_features` ( `id` int(11) NOT NULL AUTO_INCREMENT, `feature` json NOT NULL, PRIMARY KEY (`id`) ) … Continue reading →

Posted in Computer, Database, Murmuring, MySQL, Software | Tagged , , , , | Leave a comment

Composer 出現 lock file out of date 的解法

Posted on January 23, 2016 by Gea-Suan Lin

之前也有遇到，結果 Lorna Jane Mitchell 寫了一篇「Handling Composer "lock file out of date" Warning」給了不少解法。 第一種是 composer upgrade，直接全部升級。 第二種是先用 composer update --dry-run 看看是不是有人加到 composer.json 後忘記更新，如果是的話再用 composer update [package] 處理。 第三種是用 composer update nothing 閉上眼睛更新 hash 值，當作什麼都沒看到 XDDD Sometimes this is the right answer … Continue reading →

Posted in Computer, Murmuring, Programming, Software | Tagged , , , , , , , | Leave a comment

跑步王在 COSCUP 2015 的 PostgreSQL、JSON、GIS

Posted on August 21, 2015 by Gea-Suan Lin

剛剛看到跑步王在 COSCUP 2015 的「COSCUP 2015 - 使用 PostgreSQL, NoSQL 和 GIS 一次滿足 - Ronny Wang」這份錄影資料： 前半段講 JSON、JSONB (JSON Types) 以及 PostgreSQL 的 Indexes on Expressions 以及 Partial Indexes。 後半段講 GIS 的部份也很讚，不過就偏地圖應用了 :p

Posted in Computer, Database, Murmuring, PostgreSQL, Software | Tagged , , , , , , , , | 1 Comment

GitHub 上的 GeoJSON 資料將會使用 OpenStreetMap 的資料呈現

Posted on August 2, 2015 by Gea-Suan Lin

兩個禮拜前 GitHub 公佈的消息，透過 OpenStreetMap 的圖資，來強化 GitHub 上 GeoJSON 的呈現：「Improving map data on GitHub」。 官方給了個 GIF 動畫展示說明：

Posted in Computer, Murmuring, Network, Programming, Science, Social, WWW | Tagged , , , , | Leave a comment

Google 的 Jsonnet

Posted on April 21, 2015 by Gea-Suan Lin

Google 將 JSON 延伸發展出來的描述性語言，Jsonnet：「Jsonnet: a more elegant language for composing JSON」。 // Jsonnet Example { person1: { name: "Alice", welcome: "Hello " + self.name + "!", }, person2: self.person1 { name: "Bob" }, } 所對應的 JSON 會是： { "person1": { … Continue reading →

Posted in Computer, Murmuring, Network, Programming | Tagged , , | Leave a comment

用 jq 操作 JSON 文件

Posted on February 25, 2015 by Gea-Suan Lin

jq 用一陣子了 (因為配合著 AWS 官方的 AWS Command Line Interface 一起用)，剛好看到有人介紹：「jq is sed for JSON」。 現在 Ubuntu 的 package repository 內都有 jq 了 (Ubuntu – Package Search Results -- jq)，雖然版本舊了一點，不過基本功能都穩定了，除非有特別的需求，不然應該夠用。 照原文章的範例，假設 1.json 是這樣： [ { "type": "message", "user": "U024HFHU5", "text": "hey … Continue reading →

Posted in Computer, Murmuring, Software | Tagged , | Leave a comment

Hjson：the Human JSON

Posted on October 11, 2014 by Gea-Suan Lin

前幾天看到「Hjson, the Human JSON」這東西，想要在 JSON 上面提出拓展，讓人更好維護。 有幾個設計是大家已經想很久了。 首先是允許註解： { # specify rate in requests/second "rate": 1000 } 再來是允許 ending trailing comma，這點在新的 JavaScript Engine 裡面是允許的，但在 JSON 規格裡是不允許的，對於 copy-paste 時就得很小心有沒有中獎： { one: 1, two: 2, } 另外幾個特點就還好。 object 的 key 沒有特殊情況時可以省略 double … Continue reading →

Posted in Computer, Murmuring, Programming, Software | Tagged , , , , , , | Leave a comment