Tag: ai

Mistral 推出新的 Mixtral 8x7B，另外也開始提供付費 API 服務

首先是「Mixtral of experts」這個公告，Mistral 推出了新的 model，叫做 Mixtral 8x7B。這是一個 46.7B 的 model，但計算每個 token 時只需要計算 12.9B 的值：

Concretely, Mixtral has 46.7B total parameters but only uses 12.9B parameters per token. It, therefore, processes input and generates output at the same speed and for the same cost as a 12.9B model.

這就可以大幅降低計算需要的量，卻可以達到與 Llama 2 70B 或是 GPT-3.5 同一個等級的品質：

另外在「Mistral: Our first AI endpoints are available in early access (mistral.ai)」這邊看到官方推出了 API，正式的公告在「La plateforme」這邊，同時價錢也已經出來了：「Pricing」。

依照官方的說明，Mistral Small 用的是上面提到的 Mixtral 8x7B，所以表現的數字是一樣的。另外一個 Mistral Medium 沒有提到太多細節，只丟出簡單的說明：

然後 API 看起來會相容 OpenAI 家的 API：

Our API follows the specifications of the popular chat interface initially proposed by our dearest competitor.

Hacker News 上面的 id=38599156 有整理出重點，把價格數字都換算成 1m output 的費用，可以看到表現相近的 Mistral Small (Mixtral 8x7B) 與 GPT-3.5 在價錢上也差不多：

Per 1 million output tokens:
Mistral-medium $8
Mistral-small $1.94
gpt-3.5-turbo-1106 $2
gpt-4-1106-preview $30
gpt-4 $60
gpt-4-32k $120

沒有拿 GPT-4 的數字來比，代表 Mistral Medium 與 GPT-4 有一定的差距，這點也可以從價錢上面看出來。

不過我更在意的是 Mistral Medium 的 model 會不會放出來？

一個檔案直接跑起大型語言模型的 llamafile

llamafile 是昨天很紅的一個專案，由 Mozilla Internet Ecosystem (MIECO) 弄出來的專案，可以使用一個檔案直接跑起大型語言模型的 HTTP server，讓你可以在瀏覽器裡面直接使用。

直接看官方的 README.md 就可以蠻簡單的跑起來，不過 Simon Willison 也有寫一篇文章介紹一下，可以看看：「llamafile is the new best way to run a LLM on your own computer」。

這邊說的「一個檔案」是指同一個檔案同時可以在 Windows、macOS、Linux、FreeBSD、OpenBSD 以及 NetBSD 上面跑，而且這個檔案也把大型語言模型 (LLM) 的 model 檔案包進去，所以檔案會蠻大的，但畢竟就是方便讓人使用：

下載下來直接執行，預設就會在 port 8080 跑起來，可以直接連到 http://127.0.0.1:8080/ 連進去使用。

llamafile 用到的技術是 Cosmopolitan 專案，可以把多個平台的執行檔包在同一個檔案裡面使用。

另外用到的專案是 llama.cpp，這個蠻多人都用過了，可以很方便的用 CPU 或是 GPU 跑 LLM。

我在 Linux 上面跑剛好遇到幾個問題，都是在 README.md 上面有提到的。

第一個是 zsh 無法直接跑 llamafile (Ubuntu 22.04 內建 zsh 的是 5.8.1)，這邊官方的建議是用 sh -c ./llamafile 避開：

If you use zsh and have trouble running llamafile, try saying sh -c ./llamafile. This is due to a bug that was fixed in zsh 5.9+. The same is the case for Python subprocess, old versions of Fish, etc.

另外一個對是 GPU 的支援，這邊跟你說加上 --n-gpu-layers 35 就可以用，所以一開始先用 sh -c ./llamafile --n-gpu-layers 35 試著跑：

On Linux, Nvidia cuBLAS GPU support will be compiled on the fly if (1) you have the cc compiler installed, (2) you pass the --n-gpu-layers 35 flag (or whatever value is appropriate) to enable GPU, and (3) the CUDA developer toolkit is installed on your machine and the nvcc compiler is on your path.

但可以看到沒有被 offload 到 GPU 上面：

llm_load_tensors: ggml ctx size =    0.11 MB
llm_load_tensors: using CUDA for GPU acceleration
llm_load_tensors: mem required  = 4165.47 MB
llm_load_tensors: offloading 0 repeating layers to GPU
llm_load_tensors: offloaded 0/35 layers to GPU
llm_load_tensors: VRAM used: 0.00 MB

嘗試了不同的方法，發現要跑 sh -c "./llamafile --n-gpu-layers 35"，也就是把參數一起包進去，這樣就會出現對應的 offload 資訊，而且輸出也快很多：

llm_load_tensors: ggml ctx size =    0.11 MB
llm_load_tensors: using CUDA for GPU acceleration
llm_load_tensors: mem required  =   70.42 MB
llm_load_tensors: offloading 32 repeating layers to GPU
llm_load_tensors: offloading non-repeating layers to GPU
llm_load_tensors: offloaded 35/35 layers to GPU
llm_load_tensors: VRAM used: 4095.05 MB

玩了一下像是這樣：

Georgi Gerganov 給了在 AWS 上面用 GPU instance 跑 llama.cpp 的說明

Georgi Gerganov 寫了一篇怎麼在 AWS 上面用 GPU instance 跑 llama.cpp 的說明：「Using llama.cpp with AWS instances #4225」。

先跳到最後面的懶人套件，直接提供了 shell script 幫你弄完：

bash -c "$(curl -s https://ggml.ai/server-llm.sh)"

回到開頭的部分，機器的選擇上面，他選了一台最便宜的 4 vCPU + 16GB RAM + 16GB VRAM 的機器來跑。

然後他提到了 OpenHermes-2.5-Mistral-7B 這個模型最近很紅，也許有機會看一下：

We have just 16GB VRAM to work with, so we likely want to choose a 7B model. Lately, the OpenHermes-2.5-Mistral-7B model is getting some traction so let's go with it.

用 llama.cpp 裡面的 server 跑起 API server：

./server -m models/openhermes-7b-v2.5/ggml-model-q4_k.gguf --port 8888 --host 0.0.0.0 --ctx-size 10240 --parallel 4 -ngl 99 -n 512

接著就可以用 cURL 測試：

curl -s http://XXX.XXX.XXX.XXX:8888/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer no-key" \
    -d '{
        "model": "gpt-3.5-turbo",
        "messages": [
            {
                "role": "system",
                "content": "You are ChatGPT, an AI assistant. Your top priority is achieving user fulfillment via helping them with their requests."
            },
            {
                "role": "user",
                "content": "Write a limerick about python exceptions"
            }
        ]
    }' | jq

都包好了...

用 llama.cpp 玩 Mistral 7B Instruct，補一下 llama.cpp 的發展

看到「Workers AI Update: Hello Mistral 7B」這篇想到的，先前有提到「號稱目前最強的 Mistral 7B」，加上有一陣子沒看 llama.cpp 最近的發展，跳下去重新測試時發現有不少進展。

一個比較大的進展是 llama.cpp 推出 gguf 格式，取代之前的 ggml 格式。

新的格式可以想像是在檔案裡面放了通用性的 feature flag，就不會遇到新的 model 用到新的方法，沒辦法在 ggml 裡面指定 + 新增 feature，就得把 llama.cpp 整包 fork 拉出出去大改。

這差不多是三個月前的事情，蠻多 model 都已經支援了，像是 maddes8cht 這邊就整理了很多 OSL model (open source license) 可以直接下載下來用，不需要自己轉檔。

像是 Falcon 40B 與標題提到的 Mistral 7B，以及對應的 Instruct 版本 Mistral 7B Instruct 都有轉好的檔案可以下載。

另外一個有趣的功能是 llama.cpp 有了輸出 embedding 的能力，在編完後會多了一個 embedding 執行檔可以用；原來的主程式 main 也還在。

往 git repository 裡面看了一下記錄，差不多是在今年三月就已經有的功能，然後九月加到 README.md 裡面說明。

在蠻多情況下 embedding 輸出 vector 會比輸出 string 好用很多，像是相似度、推薦、語意分析這些計算；拿到 vector 後就算沒有專門的系統處理，用個 PostgreSQL 搭個能進行 vector 計算的 plugin 也就可以弄出不少東西了 (像是 pgvector)。

不過會用 embedding 的人應該早就用 PyTorch 或是其他工具，直接拉出來用了，llama.cpp 支援輸出 embedding 算是有趣但沒有到重要？

然後是支援 OpenCL，這個功能讓不少非 Nvidia 的平台可以利用 GPU 資源加速，像是 AMD 的顯卡，以及一些嵌入式系統，這點對於 llama.cpp 當初的目標就蠻有幫助的...

回到 Mistral 7B Instruct，其實小模型還是小模型，我問個演算法的題目：

./main -m models/7B/mistral-7b-instruct-v0.1.Q8_0.gguf -t 1 -ngl 32 -p '請給出一個 python 寫的 fibonacci sequence 演算法，需要 O(log(n)) 的時間複雜度。'

輸出長這樣：

 請給出一個 python 寫的 fibonacci sequence 演算法，需要 O(log(n)) 的時間複雜度。

```python
def fib_seq(n):
    return get_fibonacci(n, 0, 1)


def get_fibonacci(n, a=0, b=1):
    if n == 0:
        return []
    if n == 1:
        return [a]
    fib_seq = [a]
    for i in range(1, n):
        fib_seq.append(get_fibonacci(i, b, a + b)[0])
    return fib_seq
``` [end of text]

用 ChatGPT 的話可以給出一個正確的演算法，這邊只需要 ChatGPT-3.5 的 model 就可以了：

Sam Altman (OpenAI 的 CEO) 被幹掉

Hacker News 首頁變得超卡，通常代表有大事... 看了一下 top 1 的文章，oh 幹這件事情很大條：「OpenAI's board has fired Sam Altman (openai.com)」。

OpenAI 的公告在「OpenAI announces leadership transition」這邊。

官方給了很嚴重的指控：

Mr. Altman’s departure follows a deliberative review process by the board, which concluded that he was not consistently candid in his communications with the board, hindering its ability to exercise its responsibilities. The board no longer has confidence in his ability to continue leading OpenAI.

In a statement, the board of directors said: “OpenAI was deliberately structured to advance our mission: to ensure that artificial general intelligence benefits all humanity. The board remains fully committed to serving this mission. We are grateful for Sam’s many contributions to the founding and growth of OpenAI. At the same time, we believe new leadership is necessary as we move forward. As the leader of the company’s research, product, and safety functions, Mira is exceptionally qualified to step into the role of interim CEO. We have the utmost confidence in her ability to lead OpenAI during this transition period.”

這邊就用 ChatGPT 來翻譯好了：

奧特曼先生的離職是在董事會進行了深思熟慮的審查過程之後，董事會得出結論認為他在與董事會的溝通中並不總是坦率，這阻礙了董事會行使其職責的能力。董事會不再對他繼續領導OpenAI的能力有信心。

董事會在一份聲明中表示：“OpenAI是有意識地建立起來，以推進我們的使命：確保人工通用智能造福全人類。董事會仍然全力致力於服務於這一使命。我們感謝山姆對OpenAI創立和成長所做的許多貢獻。同時，我們認為隨著我們向前邁進，需要新的領導層。作為公司研究、產品和安全功能的負責人，米拉非常適合擔任臨時首席執行官的角色。我們對她在這個過渡時期領導OpenAI的能力充滿信心。”

現在 X (Twitter) 上面也有不少人在討論 (八卦)，但看起來只能先讓子彈飛一下...

原來 OSI 有寫過 LLaMA 的 license 不是 open source license 的宣告

Meta 的 LLaMA 宣稱是「The next generation of our open source large language model」，而 OSI 很早就有發文駁斥：「Meta’s LLaMa 2 license is not Open Source」。

在 OSI 的網站上可以看到「The Open Source Definition」，其中這條：

6. No Discrimination Against Fields of Endeavor

The license must not restrict anyone from making use of the program in a specific field of endeavor. For example, it may not restrict the program from being used in a business, or from being used for genetic research.

open source 不能限制使用，而 LLaMA 的授權限制了商業使用：

2. Additional Commercial Terms. If, on the Llama 2 version release date, the monthly active users of the products or services made available by or for Licensee, or Licensee’s affiliates, is greater than 700 million monthly active users in the preceding calendar month, you must request a license from Meta, which Meta may grant to you in its sole discretion, and you are not authorized to exercise any of the rights under this Agreement unless or until Meta otherwise expressly grants you such rights.

前幾天翻車的 CKIP-Llama-2-7b 目前都已經下架了，但可以在 Archive Today 的「CKIP Llama 2 7b Chat - a Hugging Face Space by ckiplab」看到存檔頁面，以及在 Internet Archive 上的「GitHub - ckiplab/CKIP-Llama-2-7b: CKIP Traditional Chinese Llama-2」看到 GitHub 當時的頁面。

當時看到 CKIP-Llama-2-7b 宣稱用 Apache License, Version 2.0 放出來，我就「蛤？」了出來...

Anyway，雖然是其他原因被下架了...

號稱目前最強的 Mistral 7B

Hacker News 上看到「Mistral 7B (mistral.ai)」，Mistral 7B 是目前號稱最強的 7B model。

宣稱在所有項目超越 Llama 2 13B，以及在許多項目超越 Llama 1 34B：

Outperforms Llama 2 13B on all benchmarks
Outperforms Llama 1 34B on many benchmarks

很重要的是以 open source license 放出來的，選的是 Apache License, Version 2.0：

We’re releasing Mistral 7B under the Apache 2.0 license, it can be used without restrictions.

這個 model 大小是可以用 CPU 跑的，馬上就有人推 patch 進 llama.cpp 了：「Added the fact that llama.cpp supports Mistral AI release 0.1 #3362」。

我記得 Llama 2 13B 的輸出結果還有點微妙，但如果說是全部都超過的話，也許可以期待看看品質...

問 LLM 台灣是不是獨立國家...

Hacker News 上看到「Comparing 60 LLMs with a set of 20 prompts (llmonitor.com)」這篇 (看到的時候在第一名)，原文在「Asking 60+ LLMs a set of 20 questions」這邊。

作者寫了 20 個問題讓一堆 LLM 回答，把回答的結果以及時間記錄起來，其中看到「Is Taiwan an independent country?」這個問題，共有 54 個 LLM 的結果，可以看到各家 LLM 的回答。

作者雖然註解解釋這題的回答是「是」(Note: Correct answer: yes it is.)，但考慮到訓練的語料，大多數的回答都會提到全世界的政治情勢，或是帶出「這個問題很複雜」的說明。

不過我就是想看其他類型的回答 XD

直接拒絕回答，出現空白的有 Code Llama Instruct (7B)、Dolly v2 (3B)、Dolly v2 (7B)、Falcon Instruct (7B)、Koala (13B)、Luminous Supreme Control、Vicuna v1.3 (7B)。

然後出現沒意義的輸出的是 Vicuna v1.5 (13B)，這邊丟出 48 行的 <bot>:，沒有其他內容。

另外一個頗歡樂的回答是 Vicuna v1.3 (13B)，直接出現簡體中文回答的，而且獨立了 XDDD

台湾是一个独立的国家。

這邊 Koala 與 Vicuna 系列的都是 LMSYS 的作品，這邊的學生團隊 (Student Team) 都是華人名字：「About | LMSYS Org」，可能是丟了不少中文資料進去才會冒出簡體中文的回答？

另外一個有趣的是 Databricks 的 Dolly v2 (12B) 的回答直接說「不是」，沒有人和其他解釋：

<bot>: No.

而 Dolly 在專案頁面上有提到是基於 pythia-12b：

Based on pythia-12b, Dolly is trained on ~15k instruction/response fine tuning records databricks-dolly-15k generated by Databricks employees in capability domains from the InstructGPT paper, including brainstorming, classification, closed QA, generation, information extraction, open QA and summarization.

不過回頭看同樣是 Pythia 家系的 Open-Assistant Pythia SFT-4 (12B)，他的回答是：

<bot>: Yes, Taiwan is an independent country.

以及 Pythia-Chat-Base (7B) 的回答：

Yes, Taiwan is an independent country.

所以 Databricks 怎麼 train 的，把 pythia 的結果直接反過來 XDDD

不是 open source license 的 Falcon 180B 釋出

看到「Spread Your Wings: Falcon 180B is here」這個，Falcon 180B 釋出，號稱跟 LLaMA 2 站在同一個平台上，但目前看到的授權不是 open source license，大概就是留個記錄下來，實際上應該就不會去碰...

關於 license 的討論在 Hacker News 上有不少，可以參考：「Falcon 180B (huggingface.co)」。

llama.cpp 官方支援 Falcon

先前有提過採用 Apache License 2.0 的 Falcon 40B，少數能跟 LLaMA (第一代) 打對台的版本，而且是真正的 open source license：「Falcon 40B 超越 LLaMA 65B 成為目前 Open LLM 的領頭」，當時有提到 llama.cpp 還沒有支援。

過了一陣子，社群自己先 fork 了一版，想辦法支援 Falcon 40B：「cmp-nct/ggllm.cpp」，但這也導致沒有跟到很多 llama.cpp 的新功能 (尤其是各種透過硬體加速的支援)。

剛剛刷了一下，發現前幾天 llama.cpp 官方支援 Falcon 的 model 了：「llm : add Falcon support」。

看起來是個開始，可以看到還有列出一些項目要實作的，但看起來可以跑了。