2021 年的時候曾經提過 Netflix 試著用單機推出 400Gbps 的流量 (用在 Netflix 的 Open Connect):「Netflix 在單機服務 400Gbps 的影音流量」,快一年後的目前,Netflix 的人已經成功推到接近 800Gbps 了:「Serving Netflix Video Traffic at 800Gb/s and Beyond」。另外在 Hacker News 上的討論「Serving Netflix Video Traffic at 800Gb/s and Beyond [pdf] (nabstreamingsummit.com)」也可以看看。
翻了一下投影片,最後衝到 720Gbps,主要是因為 NIC output drop,而非其他部份。
裡面還是把之前的故事也都講了一遍 (不然簡報的時間會太短?),如果有看過前面的內容可以快速看一下就好,這次新的東西從 page 89 開始:
- Asynchronous Sendfile (2014)
- Kernel TLS (2016)
- Network-centric NUMA (2019)
- Inline Hardware (NIC) kTLS (2022)
- 800G initial results
最後面幾張投影片裡面有提到往 800Gbps 衝的硬體平台:
- AMD (EPYC 7713 CPUs)
- Dell (PowerEdge R7525)
- Mellanox/NVIDIA (ConnectX-6 Dx NICS)
- Intel (P5316 NVME)
下個目標不知道是什麼,看起來目前已經壓榨到 memory bandwidth 也有點極限的感覺了...