Month: February 2014

用 BrowserSync 測試多個平台...

BrowserSync 是用 node.js 寫的工具，可以同時測試一堆 device，修改後不用按 reload，印象中已經有套件可以做類似的事情？

一般用 npm 裝就可以了：

npm install browser-sync

最簡單的方法是直接執行 browser-sync，執行後會出現像這樣的訊息：

<script src='//192.168.1.1:3000/socket.io/socket.io.js'></script>
<script>var ___socket___ = io.connect('http://192.168.1.1:3000');</script>
<script src='//192.168.1.1:3001/client/browser-sync-client.0.6.0.js'></script>

把這段程式碼貼到 body 的最後面就可以了，當 BrowerSync 偵測到檔案有更新時會透過 server push 機制重刷頁面。

另外，也可以產生 bs-config.js 修改設定：

browser-sync --init

更完整的說明可以從「Options」這頁找到。

AWS ELB 加強安全性...

AWS ELB 加強對 SSL 安全性的功能：「Elastic Load Balancing – Perfect Forward Secrecy and Other Security Enhancements」。

第一個是支援 PFS (Perfect Forward Secrecy)，愈大多數的實做相同，是使用 ECDH。

第二個是 Server Order Preference，由 server 這邊決定最終的 cipher。

最重要的是第三個，也就是「懶人包」。推出新的 security policy ELBSecurityPolicy-2014-01，把上面兩個都設進去了。

這次的升級是對安全性的提昇...

在 Flash 上播 HLS...

靠的是「Apple’s HTTP Live Streaming (HLS) in Flash !」這篇「2014/02/12 的 comment」解的 (不是原文內的方法)。

專案在 GitHub 上：「HLSProvider is a Flash/AS3 plugin that plays back HLS streams」。

使用方式與範例可以在「HLSprovider/test/flowplayer at master · mangui/HLSprovider」這邊翻到，直接看 index.html，並且把 swf 檔弄出來就可以動了。

不過實際測試發現 buffer 的部份好像處理的不是很好... 但至少有東西可以用了 :o

Ubuntu 12.04 上用 KVM (CLI) 裝 FreeBSD

過年後在家裡弄了一台技嘉的準系統跑 Ubuntu 12.04，結果手上突然沒機器可以跑 porttools 測試，而這台機器平常也沒接鍵盤，就想直接跑 command line 的 KVM 裝 FreeBSD。其實知道方式後就很簡單，只是一開始沒弄懂花了不少時間...

首先是安裝 KVM，這部份用 apt-get install kvm 就可以拉下來裝好了。

真正要做的第一部是先用 qemu-img 建立 40GB 的 disk image (qcow2)：

qemu-img create -f qcow2 ~/vm/image.qcow2 40G

然後直接用 iso image 安裝 (抓 iso image 的事情也跳過去請各位自己來)，設為 4 CPU (-smp 4)、1024MB RAM (-m 1024)，並且透過 serial console 安裝 (-nographic -curses)，開機先從 cdrom 上開 (-boot d)：

kvm -smp 4 -drive file=/abs/path/vm/image.qcow2,if=virtio -cdrom /abs/path/vm/FreeBSD-10.0-RELEASE-amd64-bootonly.iso -m 1024 -nographic -curses -net nic,model=e1000 -net tap -boot d

其中網路的部份卡了最久，後來發現預設值的 -net nic -net user 意思是：

  • -net nic 表示在 Guest OS 內建立一張網卡接到 KVM 的 vlan0。
  • -net user 表示在 KVM 的 vlan0 上建使用 userland mode NAT。

由於 userland mode NAT 很受限 (只有 TCP 與 UDP 會通)，所以我用 -net nic -net tap 表示直接 bridge 到 virbr0 上再 NAT 出去。而我希望對 Guest OS 使用 e1000，所以最後就變成 -net nic,e1000 -net tap。

接下來安裝 FreeBSD 時就可以用 DHCP mode 抓到 IP 了，由於我希望可以從 Host 直接連進去，所以我是設成 static IP。

裝完後就不需要掛 cdrom 與優先從 cdrom 開始開：

kvm -smp 4 -drive file=/abs/path/vm/image.qcow2,if=virtio -m 1024 -nographic -curses -net nic,model=e1000 -net tap

先前用 -hda /abs/path/vm/image.qcow2 掛上去，結果 i/o 很慢，被 delphij 提醒後改跑 virtio，速度就正常多了。不過這是因為 FreeBSD 10 就內建支援 virtio 了，如果是使用 FreeBSD 9 的需要另外再透過 ports 裝進去。

記錄下來給需要的人玩看看，下次也許應該玩玩看 VNC display？

UPSERT

維基百科對 UPSERT 的說明：(取自「Merge (SQL)」條目)

A relational database management system uses SQL MERGE (also called upsert) statements to INSERT new records or UPDATE existing records depending on whether or not a condition matches.

在 MySQL 裡的兩種語法其實就是在實做這個需求：

  • REPLACE INTO ...
  • INSERT INTO ... ON DUPLICATE KEY UPDATE ...

而前者其實是後者的一個特例 (當 INSERT 發現有 dupe key 時把現有的 record 改成與 INSERT 時相同的條件)。

而計數器是後者常見的 case 之一：當 record 不存在的時候塞一筆進去，並且將 counter 設為 1；當 record 存在的時候對 counter 加一更新。像是這樣的 SQL query：

INSERT INTO my_table SET id = ?, num = 1 ON DUPLICATE KEY UPDATE num = num + 1;

由於這是常見的需求，使得這個語法是目前少數 MySQL 比 PostgreSQL 好用的地方。

在「A Case for Upserts」這篇就看到抱怨 PostgreSQL 不實做這個功能...

不過我覺得作者寫得有點誇張，INSERT INTO ... ON DUPLICATE KEY UPDATE ... 應該是可以模擬出來的功能：當 INSERT 失敗後再跑 UPDATE。而 REPLACE INTO ... 是特例，也就當然可以模擬出來。

避免用 SQL 的 OFFSET 實做 Pager

發現以前沒有提到過...？

WordPress.com Developer Resources 寫的這篇「An efficient alternative to paging with SQL OFFSETs」提到了用 OFFSET 實做 Pager 的效率問題。

因為 RDBMS 是人寫的，所以人想不到的方法，程式也做不到，像是這樣的 SQL query 效率不會好：

SELECT * FROM my_table ORDER BY pk LIMIT 8000000, 100;

如果這是一般以 B+tree 儲存的 RDBMS (或是類似的資料結構)，會先把 pk 拿出來，從最小的開始計算，掃過八百萬次後再去抓一百筆 pk 的值，最後再回到 my_table 內把所有資料拉出來。

這個方法當 offset 小的時候不會有感覺，但大了以後就會爆炸。就算 primary key 都在記憶體內，仍然是狂操 CPU L2/L3 以及記憶體的存取速度。

目前常見的分頁作法是在 url 上妥協，只提供「下一頁」或「下 n 頁」的功能。如此一來，url 變成：

https://www.example.com/blog?page=10&started_at=12345678
https://www.example.com/blog?page=11&started_at=12345690
https://www.example.com/blog?page=12&started_at=12345710

started_at 變成 unix timestamp，而資料庫對時間欄位 index。如此一來，資料庫在查詢的時候就可以先 B+tree 找到 started_at 的節點 (或是小於他最近的節點)，然後連續抽出一百筆。

另外一種則是在產品面上「妥協」，也就是方法保持不變，但限制「一個 thread 最多只能回 1000 篇」，這在 2ch 或是論壇上很常看到。

因為 Google Chrome 太慢而換 CPU (以及主機板)

本來是用 AMD 的 X4 905e，拿來跑 Ubuntu 當跳板機，偶而看看影片還算夠用，不過 Google Chrome 的速度已經影響到工作了，星期六晚上家庭聚餐結束後就去八德路上原價屋拿了一顆新的 CPU 與主機板...

換上 Intel 的 Xeon E3-1230 v3 後 Ubuntu 也不需要重裝，Google Chrome 的速度也快多了...


取自「PassMark - AMD Phenom II X4 905e - Price performance comparison」


取自「PassMark - Intel Xeon E3-1230 v3 @ 3.30GHz - Price performance comparison」

沒想到是因為瀏覽器而換 CPU...

JSON Patch...

與上篇一樣，都是在「Please. Don't Patch Like An Idiot.」這篇裡看到的：「JavaScript Object Notation (JSON) Patch」(RFC 6902)。

配合 JSON Pointer (RFC 6901) 的語法，下面的操作很清楚表示了想要做什麼：

[
    { "op": "test", "path": "/a/b/c", "value": "foo" },
    { "op": "remove", "path": "/a/b/c" },
    { "op": "add", "path": "/a/b/c", "value": [ "foo", "bar" ] },
    { "op": "replace", "path": "/a/b/c", "value": 42 },
    { "op": "move", "from": "/a/b/c", "path": "/a/b/d" },
    { "op": "copy", "from": "/a/b/d", "path": "/a/b/e" }
]

再加上 HTTP header 裡的 If-Match 可以用來處理起始版本，test 也可以阻擋某些異常狀況，基本的都有了？接下來應該找 Canonical JSON 的方案，這樣可以直接拿 hash 的值當版本？

在 JSON 裡的 XPath...

在「Please. Don't Patch Like An Idiot.」這篇文章裡看到「JavaScript Object Notation (JSON) Pointer」(RFC 6901)。

類似 XML 的 XPath，JSON Pointer 可以查詢 JSON object。

比較特別是拿 ~ 這個符號當特殊字元，原本的 ~ 變成 ~0，而 / 變成 ~1，所以這個 JSON object：(取自 RFC 內的範例)

{
      "foo": ["bar", "baz"],
      "": 0,
      "a/b": 1,
      "c%d": 2,
      "e^f": 3,
      "g|h": 4,
      "i\\j": 5,
      "k\"l": 6,
      " ": 7,
      "m~n": 8
   }

使用這些 JSON pointer 會得到後面這些結果：

    ""           // the whole document
    "/foo"       ["bar", "baz"]
    "/foo/0"     "bar"
    "/"          0
    "/a~1b"      1
    "/c%d"       2
    "/e^f"       3
    "/g|h"       4
    "/i\\j"      5
    "/k\"l"      6
    "/ "         7
    "/m~0n"      8

規格還蠻簡單的...

最近的 NTP attack 的檢測...

最近幾天 NTP 放大攻擊還蠻嚴重的，像是 CloudFlare 這兩天就被 400Gbps 貓：「NTP-based DDoS attacks a concern, says Cloudflare」。

CloudFlare 有寫過一篇 NTP 放大攻擊的說明：「Understanding and mitigating NTP-based DDoS attacks」。

另外在 irc 上看到系上學弟說可以查詢有哪些 NTP server 是會被當作 NTP 放大攻擊的工具：「OpenNTPProject.org - NTP Scanning Project」，把 IP range 丟進去就可以看到 (一次可以查到 /22)，可以當作一份外部資訊來幫助內部優先處理。