neural

llama.cpp 官方支援 Falcon

先前有提過採用 Apache License 2.0 的 Falcon 40B，少數能跟 LLaMA (第一代) 打對台的版本，而且是真正的 open source license：「Falcon 40B 超越 LLaMA 65B 成為目前 Open LLM 的領頭」，當時有提到 llama.cpp 還沒有支援。

過了一陣子，社群自己先 fork 了一版，想辦法支援 Falcon 40B：「cmp-nct/ggllm.cpp」，但這也導致沒有跟到很多 llama.cpp 的新功能 (尤其是各種透過硬體加速的支援)。

剛剛刷了一下，發現前幾天 llama.cpp 官方支援 Falcon 的 model 了：「llm : add Falcon support」。

看起來是個開始，可以看到還有列出一些項目要實作的，但看起來可以跑了。

用 ggml 跑的 MPT-30B

在 Simon Willison 這邊看到的「abacaj/mpt-30B-inference」，介紹了用 ggml 跑的 MPT-30B 專案：「abacaj/mpt-30B-inference」。

MPT-30 是個 open source model，比起同樣也是 open source model 的 Falcon-40B 小了一點，在官方的說明「MPT-30B: Raising the bar for open-source foundation models」可以看到其中一個特性是可以塞進單張 GPU：

The size of MPT-30B was also specifically chosen to make it easy to deploy on a single GPU—either 1x NVIDIA A100-80GB in 16-bit precision or 1x NVIDIA A100-40GB in 8-bit precision. Other comparable LLMs such as Falcon-40B have larger parameter counts and cannot be served on a single datacenter GPU (today); this necessitates 2+ GPUs, which increases the minimum inference system cost.

但即使如此，一般人也應該不會有 A100-40G 這種卡，所以很自然的就會想到可以用 ggml 在 CPU 上跑。

然後提到 ggml... 目前 llama.cpp 在 Falcon-40B 上還是卡關中，這樣看起來 MPT-30B 應該是目前 ggml 能跑的最大的 open source model？

Simon Willison 說他在 M2 MacBook Pro 上跑沒什麼問題，我在 32GB RAM 的 Linux 上也能跑，就照著 README.md 走就可以了，不過在 Python 裡面的預設是使用一半的 CPU core，我改成使用全部的 core，速度看起來有比較快。

然後回答的品質比起之前玩各家 7B 的版本好很多，丟了一些問題給他答，已經蠻有水準了...

OpenLLM，用 Python 包裝 open source LLM 的套件

在 Hacker News 上看到「OpenLLM (github.com/bentoml)」，是一個用 Python 寫的軟體，把 open source LLM 包裝起來讓你用。

先拿 Mac 簡單測了一下，看起來包的不錯，可以用 HTTP API 來打。

先用 pip 裝：

pip install openllm

然後就可以把 server 跑起來了，依照範例跑 dolly-v2，第一次跑會比較久，需要下載 model：

openllm start dolly-v2

接下來就可以直接開 http://127.0.0.1:3000/ 來操作了，另外也可以用 command line 跑，像是依照官方的範例來跑：

openllm query --endpoint http://127.0.0.1:3000 "What is the meaning of life?"

目前測到比較明顯的問題是 CPU 模式下只有 single thread，所以雖然會動，但相當慢... 之後再來測試 GPU 的部分。

透過 ControlNet 產生出來的 QR code

Hacker News Daily 上看到「Redditor creates working anime QR codes using Stable Diffusion」這個，Reddit 的原討論串在「ControlNet for QR Code」這邊。

透過 ControlNet 產生出來的 QR code 超出一般對客製化 QR code 的想像... 這邊就不解釋直接上圖了：

KataGo 1.12.0 與 UEC 杯用的 model：b18c384nbt-uec.bin.gz

剛剛看到 KataGo 出了 1.12.0，同時也放出了在 2022 年十一月 UEC 比賽時用的 model：「New Neural Net Architecture!」。

1.12.0 比較特別的新的類神經網路架構：

This version of KataGo adds support for a new and improved neural net architecture!

這個新的架構以及其他的改善讓訓練的速度改善：

The new neural nets use a new nested residual bottleneck structure, along with other major improvements in training. They train faster than KataGo's old nets and learn more effectively.

另外一個是他把 UEC 比賽時用的 model 放出來了，很特別的是採用 b18c384，而 KataGo Distributed Training 這邊目前主要是 b40c256 與 b60c320，看起來是為了比賽而一次性訓練出來的。

依照他的說法這個 b18c384 版本跟目前訓練網站上的 b60c320 有差不多強度，但計算速度會比 b60c320 快不少，甚至在一些機器上會跟 b40c256 差不多快：

Attached to this release is a one-off net b18c384nbt-uec.bin.gz that was trained for a tournament in 2022, which should be of similar strength to the 60-block nets on http://katagotraining.org/, but on many machines will run much faster, on some machines between 40-block and 60-block speed, but on some machines even as fast as or faster than 40-block.

另外一個大改變是他把訓練工具從 TensowFlow 跳槽到 PyTorch：

The training code has been all rewritten to use pytorch instead of tensorflow.

在 release note 裡沒有提到原因，但這個頗讓人好奇的...

Python 上的 OCR

這個 OCR 專案是在 Python 包好，讓你很快就可以上手用：「Easy OCR」。

從結果的 screenshot 可以看到輸出的內容很簡單，就是座標與 OCR 出來的內容：

然後支援的語言很多：

We are currently supporting following 42 languages.

Afrikaans (af), Azerbaijani (az), Bosnian (bs), Simplified Chinese (ch_sim), Traditional Chinese (ch_tra), Czech (cs), Welsh (cy), Danish (da), German (de), English (en), Spanish (es), Estonian (et), French (fr), Irish (ga), Croatian (hr), Hungarian (hu), Indonesian (id), Icelandic (is), Italian (it), Japanese (ja), Korean (ko), Kurdish (ku), Latin (la), Lithuanian (lt), Latvian (lv), Maori (mi), Malay (ms), Maltese (mt), Dutch (nl), Norwegian (no), Polish (pl), Portuguese (pt),Romanian (ro), Slovak (sk) (need revisit), Slovenian (sl), Albanian (sq), Swedish (sv),Swahili (sw), Thai (th), Tagalog (tl), Turkish (tr), Uzbek (uz), Vietnamese (vi)

有些參數可以調整，但預設值似乎就跑得不錯了...

用 OpenCV 與類神經網路放大圖片

在「Deep Learning based Super Resolution with OpenCV」這邊看到 OpenCV 支援這些類神經網路的演算法了，而且有預先訓練好的模型資料可以下載來用。

傳統放大的方法包括 bicubic 與 nearest neighbor，速度很快但是效果就普普通通，而 NN 類的方法的效果遠超過傳統方式，不過速度慢不少。

文章裡面有提到可以指定不同的 NN 模型：

The first parameter is the name of the model. You can choose between: “edsr”, “fsrcnn”, “lapsrn”, “espcn”. It is very important that this model is the correct one for the model you specified in ‘sr.readModel()’. See the Model section on the bottom of the page for the specifications of each model.

拿這些模型名字搜了一下資料，在「Super-resolution benchmarking」這邊可以看到比較，主要是在講 EDSR 很棒，然後 ESPCN 很快？

不過看起來可以直接拿來用在不少地方了...

假新聞產生器與偵測器

在 Hacker News 上看到的消息，是關於「使用類神經網路產生新聞」(也就是透過程式大量產生假新聞)，這次的結果包括了「產生」與「偵測」兩個面向：「Grover – A State-of-the-Art Defense Against Neural Fake News (allenai.org)」。

實驗的網站在「Grover - A State-of-the-Art Defense against Neural Fake News」這邊，另外也有論文「Defending Against Neural Fake News」可以讀。

幾個月前，OpenAI 利用類神經網路，研發出「自動寫新聞」的程式，當時他們宣稱因為效果太好，決定不完整公開成果：「Better Language Models and Their Implications」，中文的報導可以參考 iThome 這篇：「AI文字產生技術引發假新聞爭議，OpenAI決定只公開部份技術成果」。

而現在 The Allen Institute for Artificial Intelligence 則是成功重製了 OpenAI 的成果，取名叫 Grover，發現訓練出來的模型除了可以拿來寫新聞外，也可以拿來偵測文章是不是機器產生的，而且就他們自己測試，辨識成功率還蠻高的：

To study and detect neural fake news, we built a model named Grover. Our study presents a surprising result: the best way to detect neural fake news is to use a model that is also a generator. The generator is most familiar with its own habits, quirks, and traits, as well as those from similar AI models, especially those trained on similar data, i.e. publicly available news. Our model, Grover, is a generator that can easily spot its own generated fake news articles, as well as those generated by other AIs. In a challenging setting with limited access to neural fake news articles, Grover obtains over 92% accuracy at telling apart human-written from machine-written news. Please read our publication for more information.

不過看起來 source code 與 model 還是沒放出來，但看起來遲早會有對應的 open source clone...

我想到在攻殼電視動畫裡面的情報管制戰，雖然電視動畫裡沒有講得很詳細，但感覺這類工具就是其中一環...

用 NN 演算法重製 Full HD 版的 Star Trek: DS9

看到「Remastering Star Trek: Deep Space Nine With Machine Learning」這篇，裡面用了類神經網路演算法，將本來只有 480p (SD) 的 Star Trek: DS9 升到 1080p (Full HD) 的版本，而且看起來效果還不錯...

意外的看到有人拿 Star Trek 的材料來玩... 依照作者的說明，DS9 一直沒有 Full HD 版的其中一個原因反而是因為「數位化」了。使用類比膠卷的母帶可以透過更高規格的重新掃描而得到高畫質版本，但 DS9 的母帶似乎已經是數位版了，所以反而造成無法透過重新掃描的方式取得 Full HD 版本：

While you can rescan analog film at a higher resolution, video is digital and can't be rescanned. This makes it much costlier to remaster this TV show, which is one of the reasons why it hasn't happened.

現有的 upscale 技術主要都還是以圖片為主，所以作者本來以為對於動態畫面的處理會遇到問題，但蠻意外的超出預期，從影片可以看出來：