avx-512

Intel 對於在 E-cores 上面可以跑 AVX-512 指令集的計畫：AVX10.2

看到「Intel AVX10.2 ISA to enable AVX-512 capabilities on E-cores」這篇提到了 Intel 的技術文件「The Converged Vector ISA: Intel® Advanced Vector Extensions 10」，裡面提到了 Intel 後續對 AVX-512 的計畫。

主要是這張，可以看到在 AVX10.2 的規劃中會支援 E-cores：

不過目前還要等，這邊只放了一個 future 的說明：

目前的傳言是 2024 或 2025 會有 AVX10.1 在 Xeon 上出來：

Intel says that version 1 of the AVX10 vector ISA (AVX10.1) will first be implemented on Intel Xeon “Granite Rapids” processors that, according to some media reports, are expected to launch by 2024 or 2025, so it will likely take a long while before AVX10.2 is implemented on processors with E-cores.

但 AVX10.1 還沒有在 E-cores 上面執行 AVX512 的能力，所以 AVX10.2 應該是更後面...

Intel 用 AVX-512 加速 NumPy 的排序演算法被整合進主線了

Intel 用 AVX-512 加速 NumPy 排序的實做被整合進主線了：「「Intel Publishes Blazing Fast AVX-512 Sorting Library, Numpy Switching To It For 10~17x Faster Sorts」」。

GitHub 的 PR 在「ENH: Vectorize quicksort for 16-bit and 64-bit dtype using AVX512 #22315」這邊，可以看到相關的留言：

This patch adds AVX512 based 64-bit on AVX512-SKX and 16-bit sorting on AVX512-ICL. All the AVX512 sorting code has been reformatted as a separate header files and put in a separate folder. The AVX512 64-bit sorting is nearly 10x faster and AVX512 16-bit sorting is nearly 16x faster when compared to std::sort. ~~Still working on running NumPy benchmarks to get exact benchmark numbers~~

16-bit int sped up by 17x and float64 by nearly 10x for random arrays. Benchmarked on a 11th Gen Tigerlake i7-1165G7.

有點「有趣」的情況是，AVX-512 在新的 Intel 消費級 CPU 被拔掉了，只有伺服器工作站的 CPU 有保留。而 AMD 的 Zen 4 則是跳下去支援 AVX-512...

另外在「Intel Publishes Fast AVX-512 Sorting Library, 10~17x Faster Sorts in NumPy (phoronix.com)」這邊當然也有人提到，如果用更廣泛的 AVX2 (寬度是 256bits) 加速的話應該也會有很大的進步才對？幾乎這十年的 CPU 都有 AVX2 了... 不過看起來沒有什麼深入的討論？

Linus 狂幹 Intel 的 AVX-512

這幾天蠻熱鬧的消息，Linus 幹翻 Intel 丟出來的 AVX-512：「Alder Lake and AVX-512」。

在維基百科的「Advanced Vector Extensions」這邊有提到，因為 AVX-512 執行時會消耗產生更多的熱量，所以得壓低 Turbo Boost 執行：

Since AVX instructions are wider and generate more heat, Intel processors have provisions to reduce the Turbo Boost frequency limit when such instructions are being executed. The throttling is divided into three levels:

L0 (100%): The normal turbo boost limit.

L1 (~85%): The "AVX boost" limit. Soft-triggered by 256-bit "heavy" (floating-point unit: FP math and integer multiplication) instructions. Hard-triggered by "light" (all other) 512-bit instructions.

L2 (~60%): The "AVX-512 boost" limit. Soft-triggered by 512-bit heavy instructions.

本來 AVX 與 AVX-2 只會在某些重量級的指令時會壓 15%，現在在 AVX-512 則是變成常態，而且有些會降到 40%，對於同時在跑的應用會受到很大的影響~~，所以 Linus 也直接放話要用他的權限擋這件事情~~ (我把動詞讀錯了)：

I want my power limits to be reached with regular integer code, not with some AVX512 power virus that takes away top frequency (because people ended up using it for memcpy!) and takes away cores (because those useless garbage units take up space).

在後面的討論串「Alder Lake and AVX-512」這邊 Linus 有提到更細，像是他對於 MMX/SSE/AVX/AVX2 的想法，以及為什麼他這麼厭惡 AVX-512。

用 AMD 的繼續看戲 XDDD