Tag: nvidia

NVIDIA 開源 Linux GPU Kernel Driver

NVIDIA 宣佈開源 Linux 下的 GPU Kernel Driver：「NVIDIA Releases Open-Source GPU Kernel Modules」。

從一些描述上可以看出來，應該是因為 Datacenter 端的動力推動的，所以這次 open source 的版本中，對 Datacenter GPU 的支援是 production level，但對 GeForce GPU 與 Workstation GPU 的支援直接掛 alpha level：

Which GPUs are supported by Open GPU Kernel Modules?

Open kernel modules support all Ampere and Turing GPUs. Datacenter GPUs are supported for production, and support for GeForce and Workstation GPUs is alpha quality. Please refer to the Datacenter, NVIDIA RTX, and GeForce product tables for more details (Turing and above have compute capability of 7.5 or greater).

然後 user-mode driver 還是 closed source：

Will the source for user-mode drivers such as CUDA be published?

These changes are for the kernel modules; while the user-mode components are untouched. So the user-mode will remain closed source and published with pre-built binaries in the driver and the CUDA toolkit.

對 nouveau 來說，是可以從 open source driver 裡面挖一些東西出來用，不過能挖到跟 proprietary 同樣效能水準嗎？

Netflix 在單機服務 400Gbps 的影音流量

在 Hacker News 首頁上看到 Netflix 在 EuroBSDCon 2021 上發表的投影片：「Serving Netflix Video at 400Gb/s on FreeBSD」，對應的討論則是在「Serving Netflix Video at 400Gb/s [pdf] (freebsd.org)」這邊可以翻到，投影片的作者有在上面回答一些問題。

投影片在講的應該就是 Netflix 的 Open Connect。

主要是因為 Open Connect 的伺服器是放到各家 ISP 機房，在單一 IP 且單一伺服器的限制下，要想辦法壓榨出最高的效能。

硬體是 AMD 的 EPYC，在先前的版本可以達到 240Gbps，經過分析與嘗試解決了一堆問題後，最後是在原來的 AMD 機器上跑到了 380Gbps (另外有測 ARM 以及 Intel 的數字)，然後之後機房有可能會有 800Gbps 的標準，他們又要繼續煩惱...

有看到 Mellanox ConnectX-6 Dx (CX6-DX) 這個東西，看起來很有趣啊，有 200Gbps 的能力，而且可以把 TLS 的事情推到卡上面處理... 然後這家公司被 Nvidia 買走了。

另外當然也會有人問為什麼不用 Linux，作者在討論串裡面也有回答一些，有興趣的可以自己去搜一下。

Amazon EC2 的新機種：R5b、D3 (D3en)、C6gn、M5zn、G4ad

Amazon EC2 除了昨天放出 Mac mini 消息打頭陣以外，其他機種的更新消息也陸陸續續公佈了：

比較有趣的 (對我而言)，第一個是 ARM 架構的機器也推出 100Gbps 的 n 版本 c6gn，看起來很適合跑大流量的東西，馬上想到的就是自架的 memcached？

另外是 m5zn，使用高頻率的 Intel Xeon，主打需要單核效率的程式，不過這是掛在 m 系列下，而不是 c 系列...

再來是使用 AMD GPU 的 g4ad，官方宣稱跟 NVIDIA 的 g4dn 比起來，將會有 45% 的 C/P 值提昇，是個蘇媽跟老黃的對決：

However, when compared to G4dn the new G4ad instances enable up to 45% better price performance for graphics-intensive workloads, including the aforementioned game streaming, remote graphics workstations, and rendering scenarios. Compared to an equally-sized G4dn instance, G4ad instances offer up to 40% improvement in performance.

看起來 ARM 的消息沒有想像中的多...

四個 HDMI 的顯示卡

在 Facebook 上正妹 wens 問是不是用華碩的 GT710-4H-SL-2GD5 這張顯示卡：「The Most Innovative ~$50 Graphics Card For Linux Users」，看了一下是一張蠻有趣的顯示卡，而且價位還蠻有競爭力的，拉一篇出來記錄好了...

我自己是用四螢幕，先前一直都是用 1080 Ti 在接 (2 HDMI + 2 DP)，但覺得好像太吃電，後來在網路上弄了一張有四個 miniDP 輸出的 Quadro P600 顯示卡，另外又找了四條 miniDP 轉 DP 的線。

換上去後發現有時候不是那麼順，後來發現是因為常常開一堆 Twitch 反而吃了不少 GPU 資源 (在 Linux 下可以用 nvidia-smi 觀察)，而且有時候還是希望跑個 KataGo 分析圍棋棋局，所以還是需要 GPU 計算能力，就換回用 1080 Ti 了...

不過這張 GT710 是四個 HDMI，用一般的 HDMI 線就可以了，相較於 P600 提供的 miniDP 需要 miniDP 轉 DP 的線，取得上應該容易不少：

另外他只需要 PCI Express 2.0 (x1) 而且是被動散熱，手上的 P600 得用到 PCI Express 3.0 (x16) 而且上面還是有一顆風扇，我猜 GT710 這張應該是更省電？不過官網上沒寫 GT710 這張的功耗，不過在「GeForce 700 series」這邊是寫 19W，而 P600 的最大功耗是 40W。

目前有看到的缺點應該是多顆 4K 解析度下時的更新頻率只有 30Hz：

* Detailed digital max. resolution:
3840×2160@60Hz for 1 monitor
3840×2160@30Hz for more than 2 monitors

對於想要有多螢幕輸出的人可以考慮看看，目前查到的價位上在新台幣 2000 上下，比 Quadro 便宜不少，畢竟定位還是不太一樣...

用更少訓練時間的 KataGo

最近開始在不同的地方會看到 KataGo 這個名字 (Twitter 與 YouTube 上都有看到)，翻了一下資料發現是在訓練成本上有重大突破，依照論文的宣稱快了五十倍...

在第一次跑的時候，只用了 35 張 V100 跑七天就有 Leela Zero 第 130 代的強度：

The first serious run of KataGo ran for 7 days in Februrary 2019 on up to 35xV100 GPUs. This is the run featured in the paper. It achieved close to LZ130 strength before it was halted, or up to just barely superhuman.

而第二次跑的時候用了 28 張 V100 跑 20 blocks 的訓練，跑了 19 天就已經超越 Facebook 當初提供的 ELFv2 版本，而對應到 Leela Zero 大約是第 200 代左右的強度 (要注意的是在 Leela Zero 這邊已經是用 40 blocks 的結構訓練了一陣子了)：

Following some further improvements and much-improved hyperparameters, KataGo performed a second serious run in May-June a max of 28xV100 GPUs, surpassing the February run after just three and a half days. The run was halted after 19 days, with the final 20-block networks reaching a final strength slightly stronger than LZ-ELFv2! (This is Facebook's very strong 20-block ELF network, running on Leela Zero's search architecture). Comparing to the yet larger Leela Zero 40-block networks, KataGo's network falls somewhere around LZ200 at visit parity, despite only itself being 20 blocks.

從論文裡面可以看到，跟 Leela Zero 一樣是逐步提昇 (應該也是用 Net2Net)，而不是一開始就拉到 20x256：

In KataGo’s main 19-day run, (b, c) began at (6, 96) and switched to (10, 128), (15, 192), and (20, 256), at roughly 0.75 days, 1.75 days, and 7.5 days, respectively. The final size approximately matches that of AlphaZero and ELF.

訓練速度上會有這麼大的改善，分成兩個類型，一種是一般性的 (在「Major General Improvements」這章)，另外一類是特定於圍棋領域的改進 (在「Major Domain-Specific Improvements」這章)。

在 Leela Zero 的 issue tracking 裡面也可以看到很多關於 KataGo 的消息，看起來作者也在裡面一起討論，應該會有一些結果出來...

Amazon EC2 推出 G4 系列機器

這次 Amazon EC2 更新了 G 系列的機器，其實會特地寫文章主要是在複習 P 系列與 G 系列的差異 (每次都記不起來到底哪個是給科學運算用的)：「Now Available – EC2 Instances (G4) with NVIDIA T4 Tensor Core GPUs」。

EC2 上的 GPU Instances 分成兩條線在發展，一條是 P 系列，另外一條是 G 系列，都是使用 Nvidia 的產品線。

從「Amazon EC2 Instance Types」這邊的「Accelerated Computing」可以看到每條產品線用了哪些型號 (扣掉 FPGA 的 F1)：

  • P3：Up to 8 NVIDIA Tesla V100 GPUs, each pairing 5,120 CUDA Cores and 640 Tensor Cores
  • P2：High-performance NVIDIA K80 GPUs, each with 2,496 parallel processing cores and 12GiB of GPU memory
  • G4：NVIDIA T4 Tensor Core GPUs
  • G3：NVIDIA Tesla M60 GPUs, each with 2048 parallel processing cores and 8 GiB of video memory

查了資料發現雖然時間點不同，但這四個都列在「Nvidia Tesla」這邊，裡面也沒有太多說明，所以還是看不出來差異，之後要碰到的時候再來還這個知識債好了...

Linode 推出 GPU Instance

所以 Linode 開始有 GPU Instance 產品線了：「Introducing Linode GPU Instances」。

用的是 Nvidia Quadro RTX 6000：

Linode GPU instances are built on NVIDIA Quadro RTX 6000 GPU cards.

查維基百科可以看到是 2018-08-13 推出的卡。價錢不算便宜：

去年十月的新聞可以看到 Quadro RTX 6000 的報價是 $6,300：「Nvidia Lists Quadro RTX 6000 GPU at $6,300」，這樣可以跟 EC2 那邊的規格與價錢比一下感覺...

出租 GPU 的服務...

前陣子在「Rent out your GPU compute to AI researchers and make ~2x more than mining the most profitable cryptocurrency.」這邊看到的消息，服務網站是「Vectordash: GPU instances for deep learning」。

起因是搞計算的弄不到顯卡計算，而雲服務的 GPU 又太貴，所以再找方法解決... 結果注意到 cryptocurrency 計算的獲利與雲服務的 GPU 中間有不少差價，於是就弄出一個服務來媒合手上有顯卡與需要科學計算的人，一邊提供較高的獲利給本來在挖礦的人，另外一邊提供較低的價錢給需要科學計算的人。

目前支援的平台有限 (Nvidia 的顯卡，另外不支援 Windows，不知道是不是 Linux only)，其他支援目前都還沒列 ETA，不過感覺是個解決大家痛點的服務 (而且挖礦這邊就是在拼獲利)，應該有機會弄得很大...

繼續觀望... XD

測試 TPUv2 的 C/P 值

有人用相同演算法實際測試 Google 的 TPUv2 與 NVIDIA 的 Tesla P100 的 C/P 值了：「Benchmarking Google’s new TPUv2」。

如果以 ResNet-50 當作計算的演算法，可以看到其實 C/P 值的差距沒有想像中大。主要原因是 GPU 可以使用較低的精度計算以加快速度，而非 Google 之前新聞稿故意使用較高精度比較 (TPU 使用 8-bit matrix engine，所以 GPU 使用較低的 fp16 版本比較會比較有參考價值)：

真正的差異是在 LSTM：

It turns out that the TPU is even faster on the LSTM model (21402 examples/s): ~12.9 times faster than a P100 (1658 examples/s) and ~7.7 times faster than a V100 (2778 examples/s)!

不過這邊就沒特別提到精度了...

Intel CPU + AMD GPU 合一的的系統

先前就有看到 Intel 要與 AMD 合作，將 Intel CPU + AMD GPU 整合在一起以對抗 Nvidia，現在看到 HP 推出對應的筆電了：「HP’s new 15-inch Spectre x360 uses the hybrid Intel/AMD processor」。

不過名字剛好跟最近的安全漏洞撞到了 XDDD (所以才想寫 XDDD)

The new Spectre x360 15 is one of the first systems to be announced that uses the new Kaby Lake-G processors from Intel. These processors combine an Intel CPU (with its own integrated GPU) with an AMD GPU, all within a single package.


出自「Kaby Lake-G unveiled: Intel CPU, AMD GPU, Nvidia-beating performance」。

這種合作的仗打不打的動呢... 不怎麼看好就是了 :o