Tag: nn

Meta 的 Llama 3.1

Meta 發佈了 Llama 3.1：「Introducing Llama 3.1: Our most capable models to date」，這本來就只是個發佈而已，但讓我注意到的是 AWS 與 GCP 都同時宣佈在雲端上支援 Llama 3.1 了：

這代表 Meta 在 Llama 3.1 發表前就先跟 AWS & GCP 合作了，這看起來是一個包圍 OpenAI (以及微軟) 的姿態，之前好像沒看到這樣？(單純印象...)

Vector embedding

最近累積起來的東西，都跟 vector embedding 有關，第二篇甚至有提到透過 embedding 切入可以找到不少 LLM 有趣的使用方式：

自己編 llama.cpp 的時候會產生出 embeeding 這隻程式，就可以測試把文字轉成 vector 的功能，接著就可以套用高維空間的數學運算了，像是最常被提到的是利用兩個 vector 的夾角來判斷相似度。

因為是對一堆 vector 處理，就不太需要去管輸出格式的問題 (像是 ChatGPT 會自由輸出任何東西)，對程式開發上會方便不少...

把 MIT license 當歌詞寫歌...？

在「AI-generated sad girl with piano performs the text of the MIT License (twitter.com/goodside)」這邊看到的推，把 MIT License 的條文當歌詞丟進去寫歌 (應該是最近很紅的 Suno.ai？)：

WTF...

AMD 推出 16GB 的 RX 7600 XT

看到「AMD Unveils AMD Radeon RX 7600 XT Graphics Card – Incredible Gaming at 1080p and Beyond for Under $350」這篇，16GB VRAM 官方的定價在 US$329...

剛好昨天寫的「Mixtral 8x7B 的論文出來了」提到了 Nvidia 的 3060 Ti 的 16GB 版本是跑 LLM 的窮人選擇，因為 12GB VRAM 的卡官方訂在 US$329，目前售價大約在 NT$9000 (~US$300) 左右。

這次 AMD 這張 16GB VRAM 美國定價是 US$329，剛好跟 3060 Ti 12GB 版本相同，這下 entry level 的市場就瞬間變得有趣了起來，雖然說 AMD 這邊的軟體支援度是差了一些，但最近算是急起直追，對於想要追求 CP 值的群眾來說還蠻有吸引力的？

後續來追看看台灣的售價...

用 GPT-4 重現 Google Deepmind 的 Gemini Demo 影片

Google Deepmind 前幾天發表了 Gemini：「Introducing Gemini: our largest and most capable AI model」，同時也釋出了 Demo 影片：

但後來大家發現 Demo 影片中人並不是直接透過語音與 Gemini 互動，而是把輸入進去的指令讓人讀出來，而且省略掉中間的各種 delay，是個被後製不少的影片：「Google’s best Gemini demo was faked」。

然後就有人用 GPT-4 實作出一個可以互動的版本了，雖然是 PoC 等級的，但反而更真實：「Show HN: I Remade the Fake Google Gemini Demo, Except Using GPT-4 and It's Real (greg.technology)」。

記得 Google 年初的 Bart Demo 也出包，可以來看看後面第三次的情況？

Mistral 推出新的 Mixtral 8x7B，另外也開始提供付費 API 服務

首先是「Mixtral of experts」這個公告，Mistral 推出了新的 model，叫做 Mixtral 8x7B。這是一個 46.7B 的 model，但計算每個 token 時只需要計算 12.9B 的值：

Concretely, Mixtral has 46.7B total parameters but only uses 12.9B parameters per token. It, therefore, processes input and generates output at the same speed and for the same cost as a 12.9B model.

這就可以大幅降低計算需要的量，卻可以達到與 Llama 2 70B 或是 GPT-3.5 同一個等級的品質：

另外在「Mistral: Our first AI endpoints are available in early access (mistral.ai)」這邊看到官方推出了 API，正式的公告在「La plateforme」這邊，同時價錢也已經出來了：「Pricing」。

依照官方的說明，Mistral Small 用的是上面提到的 Mixtral 8x7B，所以表現的數字是一樣的。另外一個 Mistral Medium 沒有提到太多細節，只丟出簡單的說明：

然後 API 看起來會相容 OpenAI 家的 API：

Our API follows the specifications of the popular chat interface initially proposed by our dearest competitor.

Hacker News 上面的 id=38599156 有整理出重點，把價格數字都換算成 1m output 的費用，可以看到表現相近的 Mistral Small (Mixtral 8x7B) 與 GPT-3.5 在價錢上也差不多：

Per 1 million output tokens:
Mistral-medium $8
Mistral-small $1.94
gpt-3.5-turbo-1106 $2
gpt-4-1106-preview $30
gpt-4 $60
gpt-4-32k $120

沒有拿 GPT-4 的數字來比，代表 Mistral Medium 與 GPT-4 有一定的差距，這點也可以從價錢上面看出來。

不過我更在意的是 Mistral Medium 的 model 會不會放出來？

一個檔案直接跑起大型語言模型的 llamafile

llamafile 是昨天很紅的一個專案，由 Mozilla Internet Ecosystem (MIECO) 弄出來的專案，可以使用一個檔案直接跑起大型語言模型的 HTTP server，讓你可以在瀏覽器裡面直接使用。

直接看官方的 README.md 就可以蠻簡單的跑起來，不過 Simon Willison 也有寫一篇文章介紹一下，可以看看：「llamafile is the new best way to run a LLM on your own computer」。

這邊說的「一個檔案」是指同一個檔案同時可以在 Windows、macOS、Linux、FreeBSD、OpenBSD 以及 NetBSD 上面跑，而且這個檔案也把大型語言模型 (LLM) 的 model 檔案包進去，所以檔案會蠻大的，但畢竟就是方便讓人使用：

下載下來直接執行，預設就會在 port 8080 跑起來，可以直接連到 http://127.0.0.1:8080/ 連進去使用。

llamafile 用到的技術是 Cosmopolitan 專案，可以把多個平台的執行檔包在同一個檔案裡面使用。

另外用到的專案是 llama.cpp，這個蠻多人都用過了，可以很方便的用 CPU 或是 GPU 跑 LLM。

我在 Linux 上面跑剛好遇到幾個問題，都是在 README.md 上面有提到的。

第一個是 zsh 無法直接跑 llamafile (Ubuntu 22.04 內建 zsh 的是 5.8.1)，這邊官方的建議是用 sh -c ./llamafile 避開：

If you use zsh and have trouble running llamafile, try saying sh -c ./llamafile. This is due to a bug that was fixed in zsh 5.9+. The same is the case for Python subprocess, old versions of Fish, etc.

另外一個對是 GPU 的支援，這邊跟你說加上 --n-gpu-layers 35 就可以用，所以一開始先用 sh -c ./llamafile --n-gpu-layers 35 試著跑：

On Linux, Nvidia cuBLAS GPU support will be compiled on the fly if (1) you have the cc compiler installed, (2) you pass the --n-gpu-layers 35 flag (or whatever value is appropriate) to enable GPU, and (3) the CUDA developer toolkit is installed on your machine and the nvcc compiler is on your path.

但可以看到沒有被 offload 到 GPU 上面：

llm_load_tensors: ggml ctx size =    0.11 MB
llm_load_tensors: using CUDA for GPU acceleration
llm_load_tensors: mem required  = 4165.47 MB
llm_load_tensors: offloading 0 repeating layers to GPU
llm_load_tensors: offloaded 0/35 layers to GPU
llm_load_tensors: VRAM used: 0.00 MB

嘗試了不同的方法，發現要跑 sh -c "./llamafile --n-gpu-layers 35"，也就是把參數一起包進去，這樣就會出現對應的 offload 資訊，而且輸出也快很多：

llm_load_tensors: ggml ctx size =    0.11 MB
llm_load_tensors: using CUDA for GPU acceleration
llm_load_tensors: mem required  =   70.42 MB
llm_load_tensors: offloading 32 repeating layers to GPU
llm_load_tensors: offloading non-repeating layers to GPU
llm_load_tensors: offloaded 35/35 layers to GPU
llm_load_tensors: VRAM used: 4095.05 MB

玩了一下像是這樣：

用 llama.cpp 玩 Mistral 7B Instruct，補一下 llama.cpp 的發展

看到「Workers AI Update: Hello Mistral 7B」這篇想到的，先前有提到「號稱目前最強的 Mistral 7B」，加上有一陣子沒看 llama.cpp 最近的發展，跳下去重新測試時發現有不少進展。

一個比較大的進展是 llama.cpp 推出 gguf 格式，取代之前的 ggml 格式。

新的格式可以想像是在檔案裡面放了通用性的 feature flag，就不會遇到新的 model 用到新的方法，沒辦法在 ggml 裡面指定 + 新增 feature，就得把 llama.cpp 整包 fork 拉出出去大改。

這差不多是三個月前的事情，蠻多 model 都已經支援了，像是 maddes8cht 這邊就整理了很多 OSL model (open source license) 可以直接下載下來用，不需要自己轉檔。

像是 Falcon 40B 與標題提到的 Mistral 7B，以及對應的 Instruct 版本 Mistral 7B Instruct 都有轉好的檔案可以下載。

另外一個有趣的功能是 llama.cpp 有了輸出 embedding 的能力，在編完後會多了一個 embedding 執行檔可以用；原來的主程式 main 也還在。

往 git repository 裡面看了一下記錄，差不多是在今年三月就已經有的功能，然後九月加到 README.md 裡面說明。

在蠻多情況下 embedding 輸出 vector 會比輸出 string 好用很多，像是相似度、推薦、語意分析這些計算；拿到 vector 後就算沒有專門的系統處理，用個 PostgreSQL 搭個能進行 vector 計算的 plugin 也就可以弄出不少東西了 (像是 pgvector)。

不過會用 embedding 的人應該早就用 PyTorch 或是其他工具，直接拉出來用了，llama.cpp 支援輸出 embedding 算是有趣但沒有到重要？

然後是支援 OpenCL，這個功能讓不少非 Nvidia 的平台可以利用 GPU 資源加速，像是 AMD 的顯卡，以及一些嵌入式系統，這點對於 llama.cpp 當初的目標就蠻有幫助的...

回到 Mistral 7B Instruct，其實小模型還是小模型，我問個演算法的題目：

./main -m models/7B/mistral-7b-instruct-v0.1.Q8_0.gguf -t 1 -ngl 32 -p '請給出一個 python 寫的 fibonacci sequence 演算法，需要 O(log(n)) 的時間複雜度。'

輸出長這樣：

 請給出一個 python 寫的 fibonacci sequence 演算法，需要 O(log(n)) 的時間複雜度。

```python
def fib_seq(n):
    return get_fibonacci(n, 0, 1)


def get_fibonacci(n, a=0, b=1):
    if n == 0:
        return []
    if n == 1:
        return [a]
    fib_seq = [a]
    for i in range(1, n):
        fib_seq.append(get_fibonacci(i, b, a + b)[0])
    return fib_seq
``` [end of text]

用 ChatGPT 的話可以給出一個正確的演算法，這邊只需要 ChatGPT-3.5 的 model 就可以了：

llama.cpp 官方支援 Falcon

先前有提過採用 Apache License 2.0 的 Falcon 40B，少數能跟 LLaMA (第一代) 打對台的版本，而且是真正的 open source license：「Falcon 40B 超越 LLaMA 65B 成為目前 Open LLM 的領頭」，當時有提到 llama.cpp 還沒有支援。

過了一陣子，社群自己先 fork 了一版，想辦法支援 Falcon 40B：「cmp-nct/ggllm.cpp」，但這也導致沒有跟到很多 llama.cpp 的新功能 (尤其是各種透過硬體加速的支援)。

剛剛刷了一下，發現前幾天 llama.cpp 官方支援 Falcon 的 model 了：「llm : add Falcon support」。

看起來是個開始，可以看到還有列出一些項目要實作的，但看起來可以跑了。

用 ggml 跑的 MPT-30B

在 Simon Willison 這邊看到的「abacaj/mpt-30B-inference」，介紹了用 ggml 跑的 MPT-30B 專案：「abacaj/mpt-30B-inference」。

MPT-30 是個 open source model，比起同樣也是 open source model 的 Falcon-40B 小了一點，在官方的說明「MPT-30B: Raising the bar for open-source foundation models」可以看到其中一個特性是可以塞進單張 GPU：

The size of MPT-30B was also specifically chosen to make it easy to deploy on a single GPU—either 1x NVIDIA A100-80GB in 16-bit precision or 1x NVIDIA A100-40GB in 8-bit precision. Other comparable LLMs such as Falcon-40B have larger parameter counts and cannot be served on a single datacenter GPU (today); this necessitates 2+ GPUs, which increases the minimum inference system cost.

但即使如此，一般人也應該不會有 A100-40G 這種卡，所以很自然的就會想到可以用 ggml 在 CPU 上跑。

然後提到 ggml... 目前 llama.cpp 在 Falcon-40B 上還是卡關中，這樣看起來 MPT-30B 應該是目前 ggml 能跑的最大的 open source model？

Simon Willison 說他在 M2 MacBook Pro 上跑沒什麼問題，我在 32GB RAM 的 Linux 上也能跑，就照著 README.md 走就可以了，不過在 Python 裡面的預設是使用一半的 CPU core，我改成使用全部的 core，速度看起來有比較快。

然後回答的品質比起之前玩各家 7B 的版本好很多，丟了一些問題給他答，已經蠻有水準了...