Hacker News 上看到「Mistral 7B (mistral.ai)」，Mistral 7B 是目前號稱最強的 7B model。
宣稱在所有項目超越 Llama 2 13B，以及在許多項目超越 Llama 1 34B：
Outperforms Llama 2 13B on all benchmarks
Outperforms Llama 1 34B on many benchmarks
很重要的是以 open source license 放出來的，選的是 Apache License, Version 2.0：
We’re releasing Mistral 7B under the Apache 2.0 license, it can be used without restrictions.
這個 model 大小是可以用 CPU 跑的，馬上就有人推 patch 進 llama.cpp 了：「Added the fact that llama.cpp supports Mistral AI release 0.1 #3362」。
我記得 Llama 2 13B 的輸出結果還有點微妙，但如果說是全部都超過的話，也許可以期待看看品質...
看到「Workers AI Update: Hello Mistral 7B」這篇想到的，先前有提到「號稱目前最強的 Mistral 7B」，加上有一陣子沒看 llama.cpp 最近的發展，跳下去重新測試時發現有不少進展。 一個比較大的進展是 llama.cpp 推出 gguf 格式，取代之前的 ggml 格式。 新的格式可以想像是在檔案裡面放了通用性的 feature flag，就不會遇到新的 model 用到新的方法，沒辦法在 ggml 裡面指定 +…