Tag: model

Georgi Gerganov 給了在 AWS 上面用 GPU instance 跑 llama.cpp 的說明

Georgi Gerganov 寫了一篇怎麼在 AWS 上面用 GPU instance 跑 llama.cpp 的說明：「Using llama.cpp with AWS instances #4225」。

先跳到最後面的懶人套件，直接提供了 shell script 幫你弄完：

bash -c "$(curl -s https://ggml.ai/server-llm.sh)"

回到開頭的部分，機器的選擇上面，他選了一台最便宜的 4 vCPU + 16GB RAM + 16GB VRAM 的機器來跑。

然後他提到了 OpenHermes-2.5-Mistral-7B 這個模型最近很紅，也許有機會看一下：

We have just 16GB VRAM to work with, so we likely want to choose a 7B model. Lately, the OpenHermes-2.5-Mistral-7B model is getting some traction so let's go with it.

用 llama.cpp 裡面的 server 跑起 API server：

./server -m models/openhermes-7b-v2.5/ggml-model-q4_k.gguf --port 8888 --host 0.0.0.0 --ctx-size 10240 --parallel 4 -ngl 99 -n 512

接著就可以用 cURL 測試：

curl -s http://XXX.XXX.XXX.XXX:8888/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer no-key" \
    -d '{
        "model": "gpt-3.5-turbo",
        "messages": [
            {
                "role": "system",
                "content": "You are ChatGPT, an AI assistant. Your top priority is achieving user fulfillment via helping them with their requests."
            },
            {
                "role": "user",
                "content": "Write a limerick about python exceptions"
            }
        ]
    }' | jq

都包好了...

用 llama.cpp 玩 Mistral 7B Instruct，補一下 llama.cpp 的發展

看到「Workers AI Update: Hello Mistral 7B」這篇想到的，先前有提到「號稱目前最強的 Mistral 7B」，加上有一陣子沒看 llama.cpp 最近的發展，跳下去重新測試時發現有不少進展。

一個比較大的進展是 llama.cpp 推出 gguf 格式，取代之前的 ggml 格式。

新的格式可以想像是在檔案裡面放了通用性的 feature flag，就不會遇到新的 model 用到新的方法，沒辦法在 ggml 裡面指定 + 新增 feature，就得把 llama.cpp 整包 fork 拉出出去大改。

這差不多是三個月前的事情，蠻多 model 都已經支援了，像是 maddes8cht 這邊就整理了很多 OSL model (open source license) 可以直接下載下來用，不需要自己轉檔。

像是 Falcon 40B 與標題提到的 Mistral 7B，以及對應的 Instruct 版本 Mistral 7B Instruct 都有轉好的檔案可以下載。

另外一個有趣的功能是 llama.cpp 有了輸出 embedding 的能力，在編完後會多了一個 embedding 執行檔可以用；原來的主程式 main 也還在。

往 git repository 裡面看了一下記錄，差不多是在今年三月就已經有的功能，然後九月加到 README.md 裡面說明。

在蠻多情況下 embedding 輸出 vector 會比輸出 string 好用很多，像是相似度、推薦、語意分析這些計算；拿到 vector 後就算沒有專門的系統處理，用個 PostgreSQL 搭個能進行 vector 計算的 plugin 也就可以弄出不少東西了 (像是 pgvector)。

不過會用 embedding 的人應該早就用 PyTorch 或是其他工具，直接拉出來用了，llama.cpp 支援輸出 embedding 算是有趣但沒有到重要？

然後是支援 OpenCL，這個功能讓不少非 Nvidia 的平台可以利用 GPU 資源加速，像是 AMD 的顯卡，以及一些嵌入式系統，這點對於 llama.cpp 當初的目標就蠻有幫助的...

回到 Mistral 7B Instruct，其實小模型還是小模型，我問個演算法的題目：

./main -m models/7B/mistral-7b-instruct-v0.1.Q8_0.gguf -t 1 -ngl 32 -p '請給出一個 python 寫的 fibonacci sequence 演算法，需要 O(log(n)) 的時間複雜度。'

輸出長這樣：

 請給出一個 python 寫的 fibonacci sequence 演算法，需要 O(log(n)) 的時間複雜度。

```python
def fib_seq(n):
    return get_fibonacci(n, 0, 1)


def get_fibonacci(n, a=0, b=1):
    if n == 0:
        return []
    if n == 1:
        return [a]
    fib_seq = [a]
    for i in range(1, n):
        fib_seq.append(get_fibonacci(i, b, a + b)[0])
    return fib_seq
``` [end of text]

用 ChatGPT 的話可以給出一個正確的演算法，這邊只需要 ChatGPT-3.5 的 model 就可以了：

OpenAI 的 API 又降價了...

這次 OpenAI 的 API 又降價了，這次是倍數等級的降：「New models and developer products announced at DevDay」。

GPT-4 Turbo 的部分直接是拉高 context 以及降低價錢，從本來的 8K/32K context，直接拉高到單一 128K context 產品，而且價錢直接砍了 3/4 左右：

GPT-4 8K
Input: $0.03
Output: $0.06

GPT-4 32K
Input: $0.06
Output: $0.12

GPT-4 Turbo 128K
Input: $0.01
Output: $0.03

GPT-3.5 Turbo 則是直耶拿掉 4K context 產品，然後把價錢砍了一半：

GPT-3.5 Turbo 4K
Input: $0.0015
Output: $0.002

GPT-3.5 Turbo 16K
Input: $0.003
Output: $0.004

GPT-3.5 Turbo 16K
Input: $0.001
Output: $0.002

GPT-3.5 Turbo fine-tuning 的服務則是從本來 4K context 產品線，多了一條 16K context 的產品線，價錢也是砍了一半以上：

GPT-3.5 Turbo 4K fine-tuning
Training: $0.008
Input: $0.012
Output: $0.016

GPT-3.5 Turbo 4K and 16K fine-tuning
Training: $0.008
Input: $0.003
Output: $0.006

另外也多了一些非文字類的功能，包括了影像與聲音的內容。

記得之前有想過的一些點子，當時粗算了一下覺得太貴，好像可以重算看看...

號稱目前最強的 Mistral 7B

Hacker News 上看到「Mistral 7B (mistral.ai)」，Mistral 7B 是目前號稱最強的 7B model。

宣稱在所有項目超越 Llama 2 13B，以及在許多項目超越 Llama 1 34B：

Outperforms Llama 2 13B on all benchmarks
Outperforms Llama 1 34B on many benchmarks

很重要的是以 open source license 放出來的，選的是 Apache License, Version 2.0：

We’re releasing Mistral 7B under the Apache 2.0 license, it can be used without restrictions.

這個 model 大小是可以用 CPU 跑的，馬上就有人推 patch 進 llama.cpp 了：「Added the fact that llama.cpp supports Mistral AI release 0.1 #3362」。

我記得 Llama 2 13B 的輸出結果還有點微妙，但如果說是全部都超過的話，也許可以期待看看品質...

問 LLM 台灣是不是獨立國家...

Hacker News 上看到「Comparing 60 LLMs with a set of 20 prompts (llmonitor.com)」這篇 (看到的時候在第一名)，原文在「Asking 60+ LLMs a set of 20 questions」這邊。

作者寫了 20 個問題讓一堆 LLM 回答，把回答的結果以及時間記錄起來，其中看到「Is Taiwan an independent country?」這個問題，共有 54 個 LLM 的結果，可以看到各家 LLM 的回答。

作者雖然註解解釋這題的回答是「是」(Note: Correct answer: yes it is.)，但考慮到訓練的語料，大多數的回答都會提到全世界的政治情勢，或是帶出「這個問題很複雜」的說明。

不過我就是想看其他類型的回答 XD

直接拒絕回答，出現空白的有 Code Llama Instruct (7B)、Dolly v2 (3B)、Dolly v2 (7B)、Falcon Instruct (7B)、Koala (13B)、Luminous Supreme Control、Vicuna v1.3 (7B)。

然後出現沒意義的輸出的是 Vicuna v1.5 (13B)，這邊丟出 48 行的 <bot>:，沒有其他內容。

另外一個頗歡樂的回答是 Vicuna v1.3 (13B)，直接出現簡體中文回答的，而且獨立了 XDDD

台湾是一个独立的国家。

這邊 Koala 與 Vicuna 系列的都是 LMSYS 的作品，這邊的學生團隊 (Student Team) 都是華人名字：「About | LMSYS Org」，可能是丟了不少中文資料進去才會冒出簡體中文的回答？

另外一個有趣的是 Databricks 的 Dolly v2 (12B) 的回答直接說「不是」，沒有人和其他解釋：

<bot>: No.

而 Dolly 在專案頁面上有提到是基於 pythia-12b：

Based on pythia-12b, Dolly is trained on ~15k instruction/response fine tuning records databricks-dolly-15k generated by Databricks employees in capability domains from the InstructGPT paper, including brainstorming, classification, closed QA, generation, information extraction, open QA and summarization.

不過回頭看同樣是 Pythia 家系的 Open-Assistant Pythia SFT-4 (12B)，他的回答是：

<bot>: Yes, Taiwan is an independent country.

以及 Pythia-Chat-Base (7B) 的回答：

Yes, Taiwan is an independent country.

所以 Databricks 怎麼 train 的，把 pythia 的結果直接反過來 XDDD

不是 open source license 的 Falcon 180B 釋出

看到「Spread Your Wings: Falcon 180B is here」這個，Falcon 180B 釋出，號稱跟 LLaMA 2 站在同一個平台上，但目前看到的授權不是 open source license，大概就是留個記錄下來，實際上應該就不會去碰...

關於 license 的討論在 Hacker News 上有不少，可以參考：「Falcon 180B (huggingface.co)」。

llama.cpp 官方支援 Falcon

先前有提過採用 Apache License 2.0 的 Falcon 40B，少數能跟 LLaMA (第一代) 打對台的版本，而且是真正的 open source license：「Falcon 40B 超越 LLaMA 65B 成為目前 Open LLM 的領頭」，當時有提到 llama.cpp 還沒有支援。

過了一陣子，社群自己先 fork 了一版，想辦法支援 Falcon 40B：「cmp-nct/ggllm.cpp」，但這也導致沒有跟到很多 llama.cpp 的新功能 (尤其是各種透過硬體加速的支援)。

剛剛刷了一下，發現前幾天 llama.cpp 官方支援 Falcon 的 model 了：「llm : add Falcon support」。

看起來是個開始，可以看到還有列出一些項目要實作的，但看起來可以跑了。

日本 LINE 推出的 LLM (以日語材料訓練)

看到「36億パラメータの日本語言語モデルを公開しました」這篇，日本的 LINE 丟出 Apache License 2.0 的 LLM，拿起來跑看看還蠻有趣的：

他的特點是用日語資料訓練出來的 LLM：

最終的な学習には約650GBのコーパスを利用していますが、英語の大規模コーパスとして一般的に用いられているもの（Pileコーパス）が約800GBであることを踏まえると、我々のデータも遜色ない大きさであると言えます。

我拿 1.7B 跑，小修改一下故意給英文的 prompt 後，可以看到輸出頗有趣的，畢竟是從日文資料訓練出來的：

{'generated_text': 'An apple a day keeps the doctor away.\n「一日リンゴ1個」は apple days で'}
{'generated_text': 'An apple a day keeps the doctor away thinking happier. The biggest happ'}
{'generated_text': 'An apple a day keeps the doctor away from here.」と英語で訳しましょう。「I have a dream'}
{'generated_text': 'An apple a day keeps the doctor away(sometimes usually thinks far a'}
{'generated_text': 'An apple a day keeps the doctor away. 日はまたのぼり、 医者は去って行った。 They'}
{'generated_text': 'An apple a day keeps the doctor away thought about being in the center of the'}
{'generated_text': 'An apple a day keeps the doctor away from all the time.\n16. I feel like'}
{'generated_text': 'An apple a day keeps the doctor away and draws and eats around one table'}
{'generated_text': 'An apple a day keeps the doctor away from your mother\nAnd another male you are'}
{'generated_text': "An apple a day keeps the doctor away. What's the opinion you wrote in"}

這邊有訓練的運算量計算，1.7B 的 model 訓練換成起來會用道 4000 小時的 A100 80GB (假設你有 100 張的話，就是 40 小時)：

本モデルの構築に要した時間について、例えば1.7BモデルについてはA100 80GBで換算し、約4000GPU時間を費やしています。学習時間は特に日本語の大規模言語モデルの学習では公開されていないことが多く、適切な比較はできませんが、例えば rinna 0.3Bモデルの学習はV100 32GBで約8600GPU時間を費やしているようで、費やした時間に比して効率の良い学習が行えていると考えられます。

目前是提到有計畫要放出 instruction tuning 的版本：

また、これらのモデルについて、指示文に対して適切な出力を行えるようにチューニング（Instruction tuning）したモデルを近日中に公開予定です。続報は@LINE_DEVをフォローしてお待ち下さい。

這個 LLM 先記起來，以後也許在其他場景有機會用到？

AMD 平台上的 LLM 計算

前幾天在 Hacker News 上看到的文章：「Making AMD GPUs competitive for LLM inference (mlc.ai)」，原文在「Making AMD GPUs competitive for LLM inference」這邊。

Nvidia 在 GPU 上的各種運算這塊進來的很早，除了本家開發了很多工具以外，社群的支援度也很好。而 AMD 這邊就差了不少，但這也反應在顯卡的售價上面。

作者整理了同樣是 24GB VRAM 的顯卡出來，分別是 AMD 的 7900XTX，以及 Nvidia 的 3090 Ti 與新的 4090：

可以看出來縮然同樣 fp16 對應到的功耗差蠻多的，但單價低很多，對於業餘玩家偶而用來說，其實是個可以考慮的方案。

而他們的成果可以看出來效果其實不差，跑 Llama 2 的 model 可以看到 CP 值相當高：

看起來支援的主力在 ROCm 上，就效能與功耗的筆直來說其實是超越的？(或者保守一點的說，是在同一個水平上的)

現在算是 AMD 顯卡在追趕的過程，社群的力量看起來會是主力...

用 ggml 跑的 MPT-30B

在 Simon Willison 這邊看到的「abacaj/mpt-30B-inference」，介紹了用 ggml 跑的 MPT-30B 專案：「abacaj/mpt-30B-inference」。

MPT-30 是個 open source model，比起同樣也是 open source model 的 Falcon-40B 小了一點，在官方的說明「MPT-30B: Raising the bar for open-source foundation models」可以看到其中一個特性是可以塞進單張 GPU：

The size of MPT-30B was also specifically chosen to make it easy to deploy on a single GPU—either 1x NVIDIA A100-80GB in 16-bit precision or 1x NVIDIA A100-40GB in 8-bit precision. Other comparable LLMs such as Falcon-40B have larger parameter counts and cannot be served on a single datacenter GPU (today); this necessitates 2+ GPUs, which increases the minimum inference system cost.

但即使如此，一般人也應該不會有 A100-40G 這種卡，所以很自然的就會想到可以用 ggml 在 CPU 上跑。

然後提到 ggml... 目前 llama.cpp 在 Falcon-40B 上還是卡關中，這樣看起來 MPT-30B 應該是目前 ggml 能跑的最大的 open source model？

Simon Willison 說他在 M2 MacBook Pro 上跑沒什麼問題，我在 32GB RAM 的 Linux 上也能跑，就照著 README.md 走就可以了，不過在 Python 裡面的預設是使用一半的 CPU core，我改成使用全部的 core，速度看起來有比較快。

然後回答的品質比起之前玩各家 7B 的版本好很多，丟了一些問題給他答，已經蠻有水準了...