Month: July 2023

用 ggml 跑的 MPT-30B

在 Simon Willison 這邊看到的「abacaj/mpt-30B-inference」，介紹了用 ggml 跑的 MPT-30B 專案：「abacaj/mpt-30B-inference」。

MPT-30 是個 open source model，比起同樣也是 open source model 的 Falcon-40B 小了一點，在官方的說明「MPT-30B: Raising the bar for open-source foundation models」可以看到其中一個特性是可以塞進單張 GPU：

The size of MPT-30B was also specifically chosen to make it easy to deploy on a single GPU—either 1x NVIDIA A100-80GB in 16-bit precision or 1x NVIDIA A100-40GB in 8-bit precision. Other comparable LLMs such as Falcon-40B have larger parameter counts and cannot be served on a single datacenter GPU (today); this necessitates 2+ GPUs, which increases the minimum inference system cost.

但即使如此，一般人也應該不會有 A100-40G 這種卡，所以很自然的就會想到可以用 ggml 在 CPU 上跑。

然後提到 ggml... 目前 llama.cpp 在 Falcon-40B 上還是卡關中，這樣看起來 MPT-30B 應該是目前 ggml 能跑的最大的 open source model？

Simon Willison 說他在 M2 MacBook Pro 上跑沒什麼問題，我在 32GB RAM 的 Linux 上也能跑，就照著 README.md 走就可以了，不過在 Python 裡面的預設是使用一半的 CPU core，我改成使用全部的 core，速度看起來有比較快。

然後回答的品質比起之前玩各家 7B 的版本好很多，丟了一些問題給他答，已經蠻有水準了...

Perl 5.38 引入的 class

在 Hacker News 首頁上看到「Perl 5.38 (perl.org)」這個，從討論裡面可以看到比較大的改變是支援了 class 語法，對應的文件在 perlclass 這邊：

This document describes the syntax of the Perl's class feature, which provides native keywords supporting object-oriented programming paradigm.

傳統上的作法是用 bless，對一個 reference 上面綁定 class，也因為這是很底層的實作，所以社群就有很多物件的封裝，像是古董的 Class::Accessor，或是後來有在 Perl community 流行一陣子的 Moose。

目前的 class 看起來像是 syntactic sugar？加上 Perl community 的能量沒有多高，長時間混用的情況應該是跑不掉...

跑 ldd 有可能會執行裡面的程式碼

在 Daily Lobsters 上看到「ldd(1) and untrusted binaries」這篇，這次的重點在 ldd 的 manpage ldd(1) 裡提到可能會執行裡面的程式碼，所以不適合拿來處理 untrusted binary：

Be aware, however, that in some circumstances, some versions of ldd may attempt to obtain the dependency information by directly executing the program. Thus, you should never employ ldd on an untrusted executable, since this may result in the execution of arbitrary code.

另外在原文裡面的 comment 有人提到 macOS 上面沒有 ldd，而是用其他工具給出類似的資訊，看起來是避開了這種實作方式：

macOS and other Darwin-based systems, which use Mach-O rather than ELF, and have an 4.x/SVR4-inspired dynamic linking mechanism (not surprising, given that the person who did a lot of the work on the 4.x system left Sun to go to NeXT), but don't have an "ldd" program. Instead, there's "otool -L", which produces output such as [...]

而 FreeBSD 上的 ldd(1) manpage 上沒有提到安全問題，但從他的實作描述看起來也不太妙：

ldd lists the dependencies of an executable by setting rtld(1) environment variables and running the executable in a child process.

回到原來主題，Linux manpage 裡面提到的 objdump 跟 ldd 的功能還是差蠻多的啊？不知道合理的替代品到底是什麼...

拿許久沒用的 abpe.org 出來架 Mastodon

前幾天 Twitter 在搞事情，把未登入的存取方式都擋住了，所以本來透過 RSS-Bridge 的方式也被擋掉了，只好趕快研究 Mastodon 要怎麼架。

在 https://abpe.org/@gslin 這邊。

要先注意硬體需求，好像沒有文章特別獎，但實際測試後發現 2GB RAM 的 VPS 只是超級低標，光是跑起來就把 2GB 吃乾了，我測試的時候開 VPS (2GB RAM + 512MB swap) 才勉強撐住，swap 都已經吃到 400MB 左右。一開始開 1GB RAM 的時候直接 OOM 給你看...

現在是跑在家裡的機器上，8GB RAM 的機器上面跑個 Sentry + Mastodon 就差不多了。

文件的部分因為想要用 Docker Compose 跑，是參考「How to take advantage of Docker to install Mastodon」這篇跑起來的，把裡面 docker-compose.yml 使用的版本換新再跑，基本上沒有問題。

接下來就是找有誰已經在 Mastodon 上，要花時間訂起來...