Tag Archives: json

Amazon Athena:直接在 S3 上進行分析

Amazon Athena 提供另外一種選擇,讓分析的便利性增加了許多:「Amazon Athena – Interactive SQL Queries for Data in Amazon S3」。 以往都需要開 server 起來分析,這個新的服務直接使用就好: Athena is based on the Presto distributed SQL engine and can query data in many different formats including JSON, CSV, log files, text with … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, Software | Tagged , , , , , , , , , , , , , | Leave a comment

Pinterest 在 InnoDB Compression 的努力

Pinterest 用 InnoDB 儲存各式資料,而且使用了 InnoDB Compression 的功能。他們花了不少力氣跟 Percona 合作改善 InnoDB Compression 的效能:「Evolving MySQL Compression - Part 1」。 文章有點長度,重點在於他們在 MySQL 裡面放了大量的 JSON: A Pin is stored as a 1.2 KB JSON blob in sharded MySQL databases. 他們發現新版 zlib 的 predefined dictionary … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Software | Tagged , , , , , , , , , | Leave a comment

設計資料同步問題時一定會遇到的 Conflict 解決方案

在「A Conflict-Free Replicated JSON Datatype」這邊看到有趣的東西。(arXiv 說 2016/08/18 會有一個小時的 downtime,台灣時間剛好是 2016/08/18 的 20:20 開始:「Maintenance scheduled for Aug 18 8:20 a.m. EDT」) 作者們設計這個架構是想要在 JSON 結構上找出一個演算法,在 P2P 架構上 (而不需要靠 server) 可以同步並且產生一致的結果,另外要求當 conflict 時不要掉資料: In this paper we present an algorithm and formal semantics … Continue reading

Posted in Computer, Murmuring, Network, P2P, Programming | Tagged , , , , , , , , | Leave a comment

MySQL 5.7 的 JSON、Virtual Column 以及 Index

Percona 提到了 MySQL 5.7 的 JSON 與 virtual column,再加上 index 後的效能提昇:「JSON document fast lookup with MySQL 5.7」。 每一家都把這些功能給做出來了,在 MySQL 5.7 提供了 JSON 格式: CREATE TABLE `test_features` ( `id` int(11) NOT NULL AUTO_INCREMENT, `feature` json NOT NULL, PRIMARY KEY (`id`) ) … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Software | Tagged , , , , | Leave a comment

Composer 出現 lock file out of date 的解法

之前也有遇到,結果 Lorna Jane Mitchell 寫了一篇「Handling Composer "lock file out of date" Warning」給了不少解法。 第一種是 composer upgrade,直接全部升級。 第二種是先用 composer update --dry-run 看看是不是有人加到 composer.json 後忘記更新,如果是的話再用 composer update [package] 處理。 第三種是用 composer update nothing 閉上眼睛更新 hash 值,當作什麼都沒看到 XDDD Sometimes this is the right answer … Continue reading

Posted in Computer, Murmuring, Programming, Software | Tagged , , , , , , , | Leave a comment

跑步王在 COSCUP 2015 的 PostgreSQL、JSON、GIS

剛剛看到跑步王在 COSCUP 2015 的「COSCUP 2015 - 使用 PostgreSQL, NoSQL 和 GIS 一次滿足 - Ronny Wang」這份錄影資料: 前半段講 JSON、JSONB (JSON Types) 以及 PostgreSQL 的 Indexes on Expressions 以及 Partial Indexes。 後半段講 GIS 的部份也很讚,不過就偏地圖應用了 :p

Posted in Computer, Database, Murmuring, PostgreSQL, Software | Tagged , , , , , , , , | 1 Comment

GitHub 上的 GeoJSON 資料將會使用 OpenStreetMap 的資料呈現

兩個禮拜前 GitHub 公佈的消息,透過 OpenStreetMap 的圖資,來強化 GitHub 上 GeoJSON 的呈現:「Improving map data on GitHub」。 官方給了個 GIF 動畫展示說明:

Posted in Computer, Murmuring, Network, Programming, Science, Social, WWW | Tagged , , , , | Leave a comment

Google 的 Jsonnet

Google 將 JSON 延伸發展出來的描述性語言,Jsonnet:「Jsonnet: a more elegant language for composing JSON」。 // Jsonnet Example { person1: { name: "Alice", welcome: "Hello " + self.name + "!", }, person2: self.person1 { name: "Bob" }, } 所對應的 JSON 會是: { "person1": { … Continue reading

Posted in Computer, Murmuring, Network, Programming | Tagged , , | Leave a comment

用 jq 操作 JSON 文件

jq 用一陣子了 (因為配合著 AWS 官方的 AWS Command Line Interface 一起用),剛好看到有人介紹:「jq is sed for JSON」。 現在 Ubuntu 的 package repository 內都有 jq 了 (Ubuntu – Package Search Results -- jq),雖然版本舊了一點,不過基本功能都穩定了,除非有特別的需求,不然應該夠用。 照原文章的範例,假設 1.json 是這樣: [ { "type": "message", "user": "U024HFHU5", "text": "hey … Continue reading

Posted in Computer, Murmuring, Software | Tagged , | Leave a comment

Hjson:the Human JSON

前幾天看到「Hjson, the Human JSON」這東西,想要在 JSON 上面提出拓展,讓人更好維護。 有幾個設計是大家已經想很久了。 首先是允許註解: { # specify rate in requests/second "rate": 1000 } 再來是允許 ending trailing comma,這點在新的 JavaScript Engine 裡面是允許的,但在 JSON 規格裡是不允許的,對於 copy-paste 時就得很小心有沒有中獎: { one: 1, two: 2, } 另外幾個特點就還好。 object 的 key 沒有特殊情況時可以省略 double … Continue reading

Posted in Computer, Murmuring, Programming, Software | Tagged , , , , , , | Leave a comment