在 Hacker News 上看到 Mixtral-8x7B-v0.1 以及 Mixtral-8x7B-Instruct-v0.1 的論文出來了：「Mixtral 8x7B: A sparse Mixture of Experts language model (arxiv.org)」，arXiv 上的連結：「Mixtral of Experts」。
跟先前大家從公開資料研究的差不多，這個研究成果主要不是降低參數的大小，而是降低運算的量：
As a result, each token has access to 47B parameters, but only uses 13B active parameters during inference.
然後仍然是超越 GPT-3.5 的水準：
Mixtral was trained with a context size of 32k tokens and it outperforms or matches Llama 2 70B and GPT-3.5 across all evaluated benchmarks.
先看計算量的問題，Mixtral 8x7B 的 model 對 VRAM 要求仍然不是消費級 GPU 可以達到的，對一般家用電腦來說，還是需要 quantisation 降低精度換取對 VRAM 空間的壓力下降。
這點可以在 TheBloke/Mixtral-8x7B-v0.1-GGUF 這邊看到各種 quantisation 後需要的 VRAM 大小。
如果用 CPU 計算的話目前應該不是大問題，目前 LLM 的大小對於一般主機的 RAM 來說還不是問題 (單條 32GB，四條就有 128GB 了)，加上現在 llama.cpp 主力已經是用 mmap 的方式在存取檔案，filesystem cache 可以在多次執行中重複使用，只是用 CPU 就不能對速度有太多想法了。
但如果往 GPU 這邊看的話就得取捨了，目前 GPU 中能跑 Mixtral 8x7B 最便宜的方案應該是兩張 3060 12GB 組成 24GB VRAM，一張約 NT$9k (~US$300)，兩張約 NT$18k (~US$600)，這樣的話有機會跑 mixtral-8x7b-v0.1.Q3_K_M.gguf，不過這邊寫「very small, high quality loss」。
如果 mixtral-8x7b-v0.1.Q3_K_M.gguf 的品質不能接受，希望計算品質好一點的話，三張 3060 Ti 12GB 組 36GB VRAM 的方案約 NT$27000 (~US$900)，不過主機板可能要挑一下；這樣就有機會用需求 34.73 GB VRAM 的 mixtral-8x7b-v0.1.Q5_K_M.gguf 了，評語是「large, very low quality loss - recommended」。
最後岔題，剛剛算了一下成本，發現 3060 Ti 12GB 這張還是穩穩的 LLM 窮人卡，先前在「雲端上面的 GPU 資源費用，以及地端的 GPU 決策圖」這邊提到的決策圖，即使在 2023 年七月 4060 Ti 16GB 出了以後還是很好用... (約 NT$15k，~US$500)
