packet – Page 2 – Gea-Suan Lin's BLOG

Facebook 的「Augmented Traffic Control」模擬網路環境

Facebook 推出 Augmented Traffic Control，模擬網路環境：「Augmented Traffic Control: A tool to simulate network conditions」。

可以測這五種變數：

bandwidth
latency
packet loss
corrupted packets
packets ordering

Facebook 的成果是 Python + Django 寫的前端管理界面，實際運作還是透過 Linux 的 iptables。

也有提供 Vagrant 的操作方式讓人「試用」，主要是讓人在本機上就可以用吧？

BPF (Berkeley Packet Filter)

看到 CloudFlare 的「BPF - the forgotten bytecode」在文章裡提到 BPF (Berkeley Packet Filter)，發現從大學畢業後就沒再看過... (然後也沒什麼印象了)

tcpdump 可以把 expression 轉成 BPF bytecode，再丟進 kernel 執行，拿 CloudFlare 文章裡的例子在自己電腦上跑：

gslin@GSLIN-DESKTOP [~] [07:27/W4] sudo tcpdump -p -ni eth1 -d "ip and udp"
(000) ldh      [12]
(001) jeq      #0x800           jt 2    jf 5
(002) ldb      [23]
(003) jeq      #0x11            jt 4    jf 5
(004) ret      #65535
(005) ret      #0

而對於複雜的過濾邏輯而需要拼效能時，可能會需要手動寫 bytecode (像是優先先判斷某些比較容易過濾的欄位，藉以降低判斷的量)，可以透過 SOCK_RAW 與 SO_ATTACH_FILTER 直接寫 bytecode 給 kernel 執行。

雖然文章內沒有明講，不過看起來 CloudFlare 有這樣做，尤其後面又有提到：

These kind of rules are very useful, they allow us to pinpoint the malicious traffic and drop it early. Just in the last couple of weeks we dropped 870,213,889,941 packets with few BPF rules. Recently during a flood we saw 41 billion packets dropped throughout a night due to a single well placed rule.

記起來以後說不定用的到...

memkeys：用 C++ 寫的 mctop (memcache top)

在「mctop：memcache top」介紹過由 Etsy 所開發的 memcache top 工具 mctop。

這套軟體用 Ruby 寫，其實就是個 sniffer + packet analyzer，但這套軟體有效能問題。在流量很高的時候無法處理所有封包，而變成 sampling 類型的監控。

Tumblr 用 C++ 新寫了一個版本，叫做 memkeys。依照軟體的說明，在 1Gbps 滿載時 mctop 約 50% 到 75% 的 packet drop (sampling rate 約 25% 到 50%)，而 memkeys 只有 3% packet drop (sampling rate 約 97%)：「Open Source - Memcache Top」。

This was originally inspired by mctop from etsy. I found that under load mctop would drop between 50 and 75 percent of packets. Under the same load memkeys will typically drop less than 3 percent of packets. This is on a machine saturating a 1Gb network link.

效能好不少 :p