幹壞事是進步最大的原動力
先前有提過採用 Apache License 2.0 的 Falcon 40B，少數能跟 LLaMA (第一代) 打對台的版本，而且是真正的 open source license：「Falcon 40B 超越 LLaMA 65B 成為目前 Open LLM 的領頭」，當時有提到 llama.cpp 還沒有支援。
過了一陣子，社群自己先 fork 了一版，想辦法支援 Falcon 40B：「cmp-nct/ggllm.cpp」，但這也導致沒有跟到很多 llama.cpp 的新功能 (尤其是各種透過硬體加速的支援)。
剛剛刷了一下，發現前幾天 llama.cpp 官方支援 Falcon 的 model 了：「llm : add Falcon support」。
看起來是個開始，可以看到還有列出一些項目要實作的，但看起來可以跑了。
在 Hacker News 首頁上看到「Llama.cpp: Full CUDA GPU Acceleration (github.com/ggerganov)」，對應得原頁面在「CUDA full GPU acceleration, KV cache in VRAM #1827」這邊。
裡面是在講 llama.cpp 之前的 GPU 加速還是有不少事情是在 CPU 上面做，這次是把目前 ggml 支援的操作都實作 GPU 版本了：
This PR adds GPU acceleration for all remaining ggml tensors that didn't yet have it. Especially for long generations this makes a large difference because the KV cache is still CPU only on master and gets larger as the context fills up.
蠻多人有不同測試的結果，要注意這次不是把 CPU 搬到 GPU 上面做，而是把本來因為比較 light 而還沒搬上 GPU 的部分搬上去，所以不會是數量級的加速，但看起來改善也已經很不賴了：
Early attempt this morning we're getting ~2.5-2.8x perf increase on 4090s and about 1.8-2x on 3090Ti.
然後 Falcon... 目前看起來還沒有必較好的進展 XD
前陣子因為重灌桌機，所以在重建許多環境... 其中一個就是 llama.cpp，連到專案頁面上時意外發現這兩個新的 feature：
OpenBLAS support
cuBLAS and CLBlast support
這代表可以用 GPU 加速了，所以就照著說明試著編一個版本測試。
編好後就跑了 7B 的 model，看起來快不少，然後改跑 13B 的 model，也可以把完整 40 個 layer 都丟進 3060 (12GB 版本) 的 GPU 上：
./main -m models/13B/ggml-model-q4_0.bin -p "Building a website can be done in 10 simple steps:" -n 512 -ngl 40
從 log 可以看到 40 layers 到都 GPU 上面，吃了 7.5GB 左右：
llama.cpp: loading model from models/13B/ggml-model-q4_0.bin llama_model_load_internal: format = ggjt v2 (latest) llama_model_load_internal: n_vocab = 32000 llama_model_load_internal: n_ctx = 512 llama_model_load_internal: n_embd = 5120 llama_model_load_internal: n_mult = 256 llama_model_load_internal: n_head = 40 llama_model_load_internal: n_layer = 40 llama_model_load_internal: n_rot = 128 llama_model_load_internal: ftype = 2 (mostly Q4_0) llama_model_load_internal: n_ff = 13824 llama_model_load_internal: n_parts = 1 llama_model_load_internal: model size = 13B llama_model_load_internal: ggml ctx size = 90.75 KB llama_model_load_internal: mem required = 9807.48 MB (+ 1608.00 MB per state) llama_model_load_internal: [cublas] offloading 40 layers to GPU llama_model_load_internal: [cublas] total VRAM used: 7562 MB llama_init_from_file: kv self size = 400.00 MB
30B 的 model 我也試著丟上去跑，但只能丟 28 layers 上去 (全部是 60 layers)，再多 GPU 的記憶體就撐不住了。
但能用 GPU 算是一個很大的進展，現在這版只快了一半的時間，不知道後面還有沒有 tune 的空間...
先前提到的「玩最近 Facebook Research (Meta) 放出來的 LLaMA」，在 2/24 公佈後，過沒多久 Stanford CRFM 團隊就丟出 fine-tuned 過的版本：「Alpaca: A Strong, Replicable Instruction-Following Model」，對應的討論在「Alpaca: A strong open-source instruction-following model (stanford.edu)」。
這個 tuning 是基於 LLaMA-7B：
We are releasing our findings about an instruction-following language model, dubbed Alpaca, which is fine-tuned from Meta’s LLaMA 7B model. We train the Alpaca model on 52K instruction-following demonstrations generated in the style of self-instruct using text-davinci-003. On the self-instruct evaluation set, Alpaca shows many behaviors similar to OpenAI’s text-davinci-003, but is also surprisingly small and easy/cheap to reproduce.
後來就再被包成一個專案 (改自 llama.cpp)，讓大家可以很方便的跑：「Alpaca.cpp」。
剛好可以比較，用 llama.cpp 跑的話是：
$ ./main -m ./models/7B/ggml-model-q4_0.bin -t 12 -n 128 -p 'Explain FAANG. ' Explain FAANG. 🙂 The acronym “FAAN” is used for the five tech giants (Facebook, Apple, Amazon and Netflix) that are taking over our lives: 15 November 2018 / by Amaraksha S [end of text]
而用 alpaca.cpp 跑的話回答品質好不少：
> Explain FAANG. FAANG (or FANNG) refers to five technology companies, Facebook Inc., Apple Inc., Amazon.com Inc., Netflix Inc and Alphabet's Google division that have become some of the most influential in recent years due to their rapid growth rates as well as their market capitalization values: Facebook (FB), $596 billion; Apple (AAPL) ,$1,084.72 billion; Amazon (AMZN), $394.5 billion ; Netflix( NFLX ), $154.8 billion and Google's parent company Alphabet Inc., ($GOOG,$GOOGL). These companies have become some of the most influential in recent years due to their rapid growth rates as well as their market capitalization values: Facebook (FB),$307.15 billion; Apple(AAPL) , $924.86 billion ; Amazon (AMZN ), $783.
可以看到 instruction-following 後的差異，很像是 GPT-3.5 API 與 ChatGPT API 的輸出結果差異。
而這只是 LLaMA-7B 的成果，好像可以期待有人對 LLaMA-65B 做些事情？