幹壞事是進步最大的原動力
在「OpenTF 開張」這邊提到 Terraform 的 fork 叫做 OpenTF，現在改名為 OpenTofu：「New name for the OpenTF project #296」，同時也可以從官網看到正式加入 The Linux Foundation Projects。
有幾個報導都有提到了：「Terraform fork gets renamed OpenTofu, and joins Linux Foundation」、「Terraform fork OpenTF renamed and relocated as OpenTofu」。
看了 Hacker News 上的討論，據說 cli 也會從 tf 換成 tofu...
看到「Spread Your Wings: Falcon 180B is here」這個，Falcon 180B 釋出，號稱跟 LLaMA 2 站在同一個平台上，但目前看到的授權不是 open source license，大概就是留個記錄下來，實際上應該就不會去碰...
關於 license 的討論在 Hacker News 上有不少，可以參考：「Falcon 180B (huggingface.co)」。
前陣子有提到因為 HashiCorp 沒有正面回應 (如預期的) 授權的爭議，所以決定將最後一個 open source 版本的 Terraform 給 fork 出來：「OpenTF 宣佈從 Terraform 最後一個 Open Source 版本 fork 出來」。
剛剛在 Hacker News 上看到「OpenTF repository is now public (github.com/opentffoundation)」這個，OpenTF 正式開張了。
瞄了一下 issues，初期還有蠻多雜事得處理的，但跨出第一步了，可以看看社群的能量到底有沒有超過 HashiCorp 自家的能量...
先前在「HashiCorp 將放棄 Open Source License，改採用 BSL 1.1」這邊提到的，HashiCorp 決定將所有產品線從現有的 open source license 換成非開源的 BSL 1.1 後，OpenTF 先丟出了「呼籲」希望 HashiCorp 可以撤回這個決定：「The OpenTF Manifesto」。
想當然的，HashiCorp 沒有回應，所以 OpenTF 宣佈了要把 Terraform 的最後一個 open source 版本 fork 出來：「OpenTF Announces Fork of Terraform」。
有幾個比較重要的資訊，第一個是申請 Linux Foundation 資格，希望成為 CNCF 的一環：
We completed all documents required for OpenTF to become part of the Linux Foundation with the end goal of having OpenTF as part of Cloud Native Computing Foundation.
另外一個是首頁上的 Co-signed 的部分，翻了一下有三家公司 (Spacelift、env0、Scalr) 有提出支援五年五位的 Full time engineer 的經費 (Cover the cost of 5 FTEs for at least 5 years)，另外一家公司 (Sailorcloud) 則是提出支援兩年一位的經費 (Cover the cost of 1 FTE for at least 2 years)。
接下來就是看這些能量到底有多少效果了...
先前有提過採用 Apache License 2.0 的 Falcon 40B，少數能跟 LLaMA (第一代) 打對台的版本，而且是真正的 open source license：「Falcon 40B 超越 LLaMA 65B 成為目前 Open LLM 的領頭」，當時有提到 llama.cpp 還沒有支援。
過了一陣子，社群自己先 fork 了一版，想辦法支援 Falcon 40B：「cmp-nct/ggllm.cpp」，但這也導致沒有跟到很多 llama.cpp 的新功能 (尤其是各種透過硬體加速的支援)。
剛剛刷了一下，發現前幾天 llama.cpp 官方支援 Falcon 的 model 了：「llm : add Falcon support」。
看起來是個開始，可以看到還有列出一些項目要實作的，但看起來可以跑了。
早上發佈的大新聞，HashiCorp 將放棄本來的 Open-source license (MPL-2.0)，改用 BSL 1.1：「HashiCorp adopts Business Source License」，Hacker News 上的討論也可以參考：「HashiCorp Adopts Business Source License (hashicorp.com)」。
看了一下產品線，最成功的應該是 Terraform 這條，其他也有些人會用，但大多都有替代品。
這些軟體可以預期都會有 fork，但後續的開發能量還會有多少就不知道了...
另外前陣子有測過一次 Pulumi，但整體的體驗很差，也許再看看其他的方案？
在 Simon Willison 這邊看到的「abacaj/mpt-30B-inference」，介紹了用 ggml 跑的 MPT-30B 專案：「abacaj/mpt-30B-inference」。
MPT-30 是個 open source model，比起同樣也是 open source model 的 Falcon-40B 小了一點，在官方的說明「MPT-30B: Raising the bar for open-source foundation models」可以看到其中一個特性是可以塞進單張 GPU：
The size of MPT-30B was also specifically chosen to make it easy to deploy on a single GPU—either 1x NVIDIA A100-80GB in 16-bit precision or 1x NVIDIA A100-40GB in 8-bit precision. Other comparable LLMs such as Falcon-40B have larger parameter counts and cannot be served on a single datacenter GPU (today); this necessitates 2+ GPUs, which increases the minimum inference system cost.
但即使如此，一般人也應該不會有 A100-40G 這種卡，所以很自然的就會想到可以用 ggml 在 CPU 上跑。
然後提到 ggml... 目前 llama.cpp 在 Falcon-40B 上還是卡關中，這樣看起來 MPT-30B 應該是目前 ggml 能跑的最大的 open source model？
Simon Willison 說他在 M2 MacBook Pro 上跑沒什麼問題，我在 32GB RAM 的 Linux 上也能跑，就照著 README.md 走就可以了，不過在 Python 裡面的預設是使用一半的 CPU core，我改成使用全部的 core，速度看起來有比較快。
然後回答的品質比起之前玩各家 7B 的版本好很多，丟了一些問題給他答，已經蠻有水準了...
在「AlmaLinux 與 Rocky Linux 看起來都暫時無解」這邊提到了檯面上目前沒有好方法穩定取得 source code 後，Rocky Linux 提出了兩個方法，在不需要同意 RHEL 的條款下取得 RHEL 的 source code：「Keeping Open Source Open」。
中間還有一些小插曲可以提一下，在社群不少抗議聲後，IBM & Red Hat 的 VP 出來直接說他們認為 RHEL rebuild 沒有任何價值，而且是故意讓 rebuilder 更難實作 RHEL rebuild：「Red Hat’s commitment to open source: A response to the git.centos.org changes」。
Ultimately, we do not find value in a RHEL rebuild and we are not under any obligation to make things easier for rebuilders; this is our call to make.
回到 Rocky Linux 的文章，他們提出來的兩個方法都是基於 GPL 的重要性質：如果你可以合法拿到 binary，那麼散佈者就有義務要提供 source code。
第一個方法是透過 RHEL 目前公開提供的 container image：
One option is through the usage of UBI container images which are based on RHEL and available from multiple online sources (including Docker Hub). Using the UBI image, it is easily possible to obtain Red Hat sources reliably and unencumbered. We have validated this through OCI (Open Container Initiative) containers and it works exactly as expected.
另外一種方式是透過雲端服務的 cloud instance 跑 RHEL：
Another method that we will leverage is pay-per-use public cloud instances. With this, anyone can spin up RHEL images in the cloud and thus obtain the source code for all packages and errata. This is the easiest for us to scale as we can do all of this through CI pipelines, spinning up cloud images to obtain the sources via DNF, and post to our Git repositories automatically.
這兩個方法都不需要同意 RHEL 目前在網站上的 TOS 與 EULA，而且短時間內應該不好防堵：前者要關掉的話，應該有一堆既有 RHEL 客戶在用會直接抱怨，真的要硬幹的話得給這些客戶時間從 public repository 轉移到要認證的 repository 上；而後者要堵的話，除非 IBM & Red Hat 決定直接不做雲端生意？
看起來 Rocky Linux 與 AlmaLinux 用這套方法可以撐一陣子，直到 IBM & Red Hat 想出新方法來搞？
昨天提到的「IBM 決定停止公開發布 RHEL 的 source code」有了另外一邊的說明了：
如同 AlmaLinux 所說的，重新散佈程式碼是受限的：
Unfortunately the way we understand it today, Red Hat’s user interface agreements indicate that re-publishing sources acquired through the customer portal would be a violation of those agreements.
所以目前 AlmaLinux 的意思是沒有什麼好解法，而 Rocky Linux 的公告文章只有幹話，沒有實質內容。
但我猜既有的客戶裡面有不受這個條款影響的族群，像是直接跟 IBM 談授權合約的公司，有可能會有排除單方面修改授權的條款，這個應該會是目前 RHEL 8/9 的破口，但後續再釋出的版本應該會被 IBM 的法務給補上？
在 Hacker News 首頁上看到的新聞，IBM 決定停止公開發布 RHEL 的 source code：「Red Hat cutting back RHEL source availability」，原始的文章在「Furthering the evolution of CentOS Stream」這邊。
可以猜測這與 Rocky Linux 與 AlmaLinux 有關。
有購買 RHEL 的人 (取得 binary 的人) 可以在 Red Hat Customer Portal 上取得 source code，這部份應該是遵守 GPL 的關係。
但不確定後續 Rocky Linux 與 AlmaLinux 會怎麼處理，看了看 GPLv2 裡面的條文，不是很確定是否可以限制散佈 source code 的行為...