在 nanoGPT 這個專案下面看到 bf16 這個浮點格式:(這段在新版的 README.md
被改寫了)
Currently fp16 is much faster than bf16. Potentially revert back to using fp16 and re-introduce the gradient scaler?
翻了一下 bf16,是由 Google 的團隊所提出來的想法,主打是與 fp32 相同的表示範圍,但是犧牲精度,這樣一來既有使用 fp32 的程式很有機會可以直接換成 bf16 降低計算量 & 提昇效率 (也就是 drop-in replacement):
然後同一頁也看到各家自己推出不同的格式,這邊看起來比較像是市場競爭的關係...