Tag Archives: kernel

用 4.5+ 的 Linux Kernel 限制 I/O 速度

在「Using cgroups to limit I/O」這邊看到作者試著用 cgroups 限制 I/O 速度。 作者前面花了不少篇幅解釋 cgroups v1 無法正確限制 I/O 速度,後面就在講 cgroups v2 怎麼做: So, in order to limit I/O when this I/O may hit the writeback kernel cache, we need to use both memory and … Continue reading

Posted in Computer, Linux, Murmuring, OS, Software|Tagged , , , , , , |Leave a comment

Linux 下 RAID1 的 SSD 會有讀取不平均問題

在「Unbalanced reads from SSDs in software RAID mirrors in Linux」這邊看到作者看 S.M.A.R.T. 數據時發現兩顆 SSD 硬碟組成的 RAID1 有很明顯的讀取不平均的問題: 242 Total_LBAs_Read [...] 16838224623 242 Total_LBAs_Read [...] 1698394290 原因是因為 Linux 對 RAID1 的 SSD 有不一樣的演算法: The current state of RAID1 read balancing is kind … Continue reading

Posted in Computer, Hardware, Linux, Murmuring, OS, Software|Tagged , , , , , , , , , , , |Leave a comment

Amazon EC2 上的 Ubuntu 的效能提昇

Ubuntu 跟 AWS 合作,對 AWS 上 EC2 的 kernel 最佳化:「Ubuntu on AWS gets serious performance boost with AWS-tuned kernel」。 透過各界面拉出來的 Ubuntu 16.04 都將會是對 kernel 最佳化過的版本了: As of March 29th, Ubuntu Cloud Images for Amazon have been enabled with the AWS-tuned … Continue reading

Posted in AWS, Cloud, Computer, Linux, Murmuring, Network, OS, Software|Tagged , , , , , , , , , |Leave a comment

kernel.org 將要關閉 FTP 服務

kernel.org 將關閉 FTP 服務:「Shutting down FTP services」。 三月將關閉 ftp://ftp.kernel.org/,而 12 月將關閉 ftp://mirrors.kernel.org/。現在透過 HTTP 更新已經是主流了,對於 firewall 設定與 cache 都有比較好的支援。

Posted in Computer, FTP, Linux, Murmuring, Network, OS, Security, Software, WWW|Tagged , , , , , , , |Leave a comment

Dropbox 的 Document Detecting

Dropbox 發表了他們所研究的 Document Detecting 技術:「Fast and Accurate Document Detection for Scanning」。 他們希望抓出這張圖裡面「文件」的「邊緣」: 用 Canny edge detector 會跑出這樣,很明顯多了很多不太正確的邊線,對於後續判斷上會困難不少: 剛好也是最近看到的另外一篇文章「Image Kernels Explained Visually」在講 Image Kernel,有些地方有點類似的東西,交叉看頗有感覺的... Anyway,Dropbox 最後的成果很不錯啊,可以看示範:

Posted in Computer, Murmuring, Programming|Tagged , , , , , , , , |1 Comment

Netflix 對 sendfile() 在 TLS 情況下的加速

Netflix 對於寫了一篇關於隱私保護的技術細節:「Protecting Netflix Viewing Privacy at Scale」。 其中講到 2012 年的 Netflix Open Connect 中的 Open Connect Appliance (OCA,放伺服器到 ISP 機房的計畫) 只有單台伺服器 8Gbps,到現在 2016 可以達到 90Gbps: As we mentioned in a recent company blog post, since the beginning of the Open … Continue reading

Posted in Computer, FreeBSD, Hardware, Movie, Murmuring, Network, OS, Programming, Recreation, Security, Software, Television, WWW|Tagged , , , , , , , , , , , , , , , , , , , , , , , |1 Comment

GitHub 對抗 TCP SYN Flood 的方式:synsanity

GitHub 提出了自己對抗 TCP SYN Floord 的方式:「SYN Flood Mitigation with synsanity」。 synsanity 是一個 netfilter (iptables) 用的 target,利用現有的理論阻擋 TCP SYN Flood 這種 DDoS: synsanity is a netfilter (iptables) target for high performance lockless SYN cookies for SYN flood mitigation, as used in … Continue reading

Posted in Computer, Linux, Murmuring, Network, OS, Security, Software|Tagged , , , , , , , , , , , |1 Comment

Ubuntu 搞定 ZFS 授權問題,將直接納入系統中使用

Canonical 的人 (Ubuntu 背後的公司) 跟律師研究後決定採用 .ko 的方式 (就像 nvidia.ko 的方式) 納入 ZFS,讓 Ubuntu 的人可以更方便使用,而不是像現在要另外手動做不少步驟:「ZFS Licensing and Linux」。 依照 Canonical 的研究,CDDL (ZFS) 與 GPLv2 (Linux) 的授權方式不同,所以可以找到方法交叉避開衝突: While the CDDL and GPLv2 are both "copyleft" licenses, they have different scope. The CDDL … Continue reading

Posted in Computer, Linux, Murmuring, OS, Software|Tagged , , , , , , , , , , , , , |3 Comments

沒有檢查 TCP checksum 的 bug 造成的慘案

Twitter 家的工程師努力通靈找靈異現象,最後發現是 kernel bug 造成 veth 沒檢查 TCP checksum 造成的慘案:「Linux kernel bug delivers corrupt TCP/IP data to Mesos, Kubernetes, Docker containers」。 而隔壁棚 PagerDuty 在 2015 年五月也有遇到類似的問題,不過當時看起來沒找出 root cause,只有提出 workaround 解法暫時避開:「The Discovery of Apache ZooKeeper’s Poison Packet」。 這個 bug 已經被 patch … Continue reading

Posted in Computer, Linux, Murmuring, Network, OS, Software|Tagged , , , , , , , , , , |Leave a comment

nginx 的 TCP Fast Open

在「Enabling TCP Fast Open for NGINX on CentOS 7」這邊看到 nginx 對 TCP Fast Open (TFO,RFC 7413) 的支援早在 1.5.8 就有了,而 Linux Kernel 也是 3.7 之後就全面支援了。 TCP Fast Open 利用第一次連線後產生的 TCP cookie,在第二次連線時可以在 3-way handshake 的過程就開始傳輸,藉此大幅降低 latency。 設定方法不難,先在 kernel 設定 net.ipv4.tcp_fastopen=3,再加上 fastopen=number 就可以了,像是這樣: … Continue reading

Posted in Computer, Murmuring, Network, Software, WWW|Tagged , , , , , , , , , , , , , , |Leave a comment