paper

IEEE 也宣佈禁用 Lenna 圖了

Lenna (Lena) 是個經典的標準測試圖片，一方面是因為有很多細節可以觀察 image-related algorithm 的情況，另外一方面也是因為這張圖是取自 1972 年的 Playboy 雜誌：

Lenna (or Lena) is a standard test image used in the field of digital image processing starting in 1973, but it is no longer considered appropriate by some authors.

To explain why the image became a standard in the field, David C. Munson, editor-in-chief of IEEE Transactions on Image Processing, stated that it was a good test image because of its detail, flat regions, shading, and texture. He also noted that "the Lena image is a picture of an attractive woman. It is not surprising that the (mostly male) image processing research community gravitated toward an image that they found attractive."

也因為後者的原因，後來也有愈來愈多其他的圖片可以達到類似的效果 (甚至更好)，就有替代的聲音出現了。

另外一方面，Lena 本人在 2019 年也提到希望淡出的想法：「How a Nude “Playboy” Photo Became a Fixture in the Tech World」。

But I retired from modeling a long time ago. It’s time I retired from tech, too.

而最新的消息就是 2024/04/01 開始，IEEE 不再接受使用 Lenna 圖的投稿：「Institute bans use of Playboy test image in engineering journals」。

之後大概只會在歷史回顧的時候會引用提到了...

Mixtral 8x7B 的論文出來了

在 Hacker News 上看到 Mixtral-8x7B-v0.1 以及 Mixtral-8x7B-Instruct-v0.1 的論文出來了：「Mixtral 8x7B: A sparse Mixture of Experts language model (arxiv.org)」，arXiv 上的連結：「Mixtral of Experts」。

跟先前大家從公開資料研究的差不多，這個研究成果主要不是降低參數的大小，而是降低運算的量：

As a result, each token has access to 47B parameters, but only uses 13B active parameters during inference.

然後仍然是超越 GPT-3.5 的水準：

Mixtral was trained with a context size of 32k tokens and it outperforms or matches Llama 2 70B and GPT-3.5 across all evaluated benchmarks.

先看計算量的問題，Mixtral 8x7B 的 model 對 VRAM 要求仍然不是消費級 GPU 可以達到的，對一般家用電腦來說，還是需要 quantisation 降低精度換取對 VRAM 空間的壓力下降。

這點可以在 TheBloke/Mixtral-8x7B-v0.1-GGUF 這邊看到各種 quantisation 後需要的 VRAM 大小。

如果用 CPU 計算的話目前應該不是大問題，目前 LLM 的大小對於一般主機的 RAM 來說還不是問題 (單條 32GB，四條就有 128GB 了)，加上現在 llama.cpp 主力已經是用 mmap 的方式在存取檔案，filesystem cache 可以在多次執行中重複使用，只是用 CPU 就不能對速度有太多想法了。

但如果往 GPU 這邊看的話就得取捨了，目前 GPU 中能跑 Mixtral 8x7B 最便宜的方案應該是兩張 3060 12GB 組成 24GB VRAM，一張約 NT$9k (~US$300)，兩張約 NT$18k (~US$600)，這樣的話有機會跑 mixtral-8x7b-v0.1.Q3_K_M.gguf，不過這邊寫「very small, high quality loss」。

如果 mixtral-8x7b-v0.1.Q3_K_M.gguf 的品質不能接受，希望計算品質好一點的話，三張 3060 Ti 12GB 組 36GB VRAM 的方案約 NT$27000 (~US$900)，不過主機板可能要挑一下；這樣就有機會用需求 34.73 GB VRAM 的 mixtral-8x7b-v0.1.Q5_K_M.gguf 了，評語是「large, very low quality loss - recommended」。

最後岔題，剛剛算了一下成本，發現 3060 Ti 12GB 這張還是穩穩的 LLM 窮人卡，先前在「雲端上面的 GPU 資源費用，以及地端的 GPU 決策圖」這邊提到的決策圖，即使在 2023 年七月 4060 Ti 16GB 出了以後還是很好用... (約 NT$15k，~US$500)

arXiv 提供 HTML 版本介面 (beta 版)

Hacker News 上看到「ArXiv now offers papers in HTML format (arxiv.org)」這則，arXiv 推出了 beta 版的 HTML 介面：「Accessibility update: arXiv now offers papers in HTML format」。

不是每一篇都有上，需要是最近用 TeX 類格式上傳的才會轉：

We are happy to announce that as of Monday, December 18th, arXiv is now generating an HTML formatted version of all papers submitted in TeX/LaTeX (as long as papers were submitted on or after December 1st, 2023 and HTML conversion is successful – more on this below).

所以我先找了二十年前 Poincaré conjecture (龐加萊猜想) 的三篇論文，就沒有 HTML 版本：「The entropy formula for the Ricci flow and its geometric applications」、「Ricci flow with surgery on three-manifolds」、「Finite extinction time for the solutions to the Ricci flow on certain three-manifolds」。

在 Hacker News 的 comment 裡面有人給了有 HTML 版本的論文：「The detectability of single spinless stellar-mass black holes through gravitational lensing of gravitational waves with advanced LIGO」，以 render 的效果看起來還不錯？

另外這個站目前看起來沒有在 Fastly 上：

;; ANSWER SECTION:
browse.arxiv.org.       300     IN      A       34.160.61.147

應該等成熟進 GA 時會把所有 TeX 檔案都轉出來？

用 PageRank 跑 arXiv 上面 CS paper 的排名

在「Ask HN: AI/ML papers to catch up with current state of AI?」這邊看到的，本來只是在討論有哪些 AI/ML paper 可以看，結果在 id=38654200 這邊看到這個網站，上面的資料是每天更新一次：

https://trendingpapers.com/

This tool can help you find what's new & relevant to read. It's updated every day (based on ArXiv).

You can filter by category (Computer Vision, Machine Learning, NLP, etc), by release date, but most importantly, you can rank by PageRank (proxy of influence/readership), PageRank growth (to see the fastest growing papers in terms of influence), total # of citations, etc...

依照「Frequently Asked Questions」的說明，是用 PageRank 跑 arXiv 上面的 paper，主要是 CS 為主。

難得看到 PageRank 出現而且是用在 paper citation 上面...

ACM 宣佈停止發行紙本 (Journal 與 Transaction)

Hacker News 上看到 ACM 宣佈停止發行紙本：「Ceasing print publication of ACM journals and transactions (acm.org)」，原公告在「Ceasing Print Publication of ACM Journals and Transactions」。

從 2024 年一月開始停止紙本版本的發行，除了列出來的例外：

ACM has made the decision to cease print publication for ACM’s journals and transactions as of January 2024. The magazines Communications of the ACM, ACM InRoads, interactions, and XRDS: Crossroads will continue in print.

一方面降低成本，而替代方案就是有需要的人可以自己印，挑自己習慣的方式閱讀...

今年的 EFF Awards 頒給了 Sci-Hub 的創辦人 Alexandra Elbakyan

在「Sci-Hub’s Alexandra Elbakyan Receives EFF Award for Providing Access to Scientific Knowledge」這邊看到 EFF 把今年的 EFF Awards 頒給了 Sci-Hub 的創辦人 Alexandra Elbakyan。而 EFF 原始的公告在「Electronic Frontier Foundation to Present Annual EFF Awards to Alexandra Asanovna Elbakyan, Library Freedom Project, and Signal Foundation」這邊。

維基百科對 Sci-Hub 的介紹在開頭說的頗清楚，Alexandra Elbakyan 選擇無視 copyright，提供論文免費下載：

Sci-Hub is a shadow library website that provides free access to millions of research papers, without regard to copyright, by bypassing publishers' paywalls in various ways.

而 EFF 肯定這樣的行為促進了科學知識的傳遞：

Kazakhstani computer programmer Alexandra Asanovna Elbakyan founded Sci-Hub in 2011 to provide free and unrestricted access to all scientific knowledge.

很像是 EFF 會幹的事情沒錯 XDDD

GPT 的進程 (或是 LLM 的進程)

前幾天不知道在哪邊看到「Five years of GPT progress」這篇，裡面整理了這五年 GPT/LLM 的進程，算是回顧性質的文章，裡面當然有提到技術改善的地方 (像是參數大小，類神經網路層的架構差異)，另外裡面都有原始論文或是資料的連結，然後作者也有描述一些當時的背景，對於要釐清歷史脈絡也蠻有幫助的。

從 GPT、GPT-2、GPT-3 這三個 OpenAI 的作品開始講，然後提到 GPT-3 帶出來的新紀元。

接著提到的是各家都開始進來參與的年代，Jurassic-1 (AI21 Labs)、Megatron-Turing NLG (Nvidia)、Gopher (DeepMind)、Chinchilla (DeepMind)、PaLM (Google AI)。

然後是 LLaMa (Facebook)，第一個有參數夠大，而且效能夠好的 model，被放出來讓大家玩的 LLM。

最後又回到 OpenAI 的 GPT-4。

這樣整理讀起來清晰不少，但要注意裡面的發展不是線性關係，彼此之間互相影響交錯在跑 (因為中間還是有很多其他的論文互相影響)。

Vector clock 的發明時間軸

一樣是在 Hacker News 上看到「Who invented vector clocks? (decomposition.al)」這篇文章，在找出誰發明了 vector clock，原文在「Who invented vector clocks?」。

主要有兩個不同的時間點，一個是 vector clock 概念的提出，另外一個是第一次用到 vector 這個詞。

這篇讓我覺得有趣的地方是，vector clock 本來就是在處理分散式系統裡面事件順序的問題，而這篇文章則是在找出真實世界裡面這些發明的先後順序，而且也牽扯到了各種 citation (類比到分散式系統裡事件的 dependency)。

MIT 終止與 Elsevier 的合約

美國在今年有不少學校開始跟進，終止與 Elsevier 的合約了。

首先是去年 (2019) 三月加州大學系統宣佈不跟 Elsevier 續約 (參考當時寫的「加州大學宣佈不與 Elsevier 續約」這篇)，今年四月則是北卡大學系統宣佈不續約：「Upcoming Elsevier Cancellations」，以及紐約大學系統也宣佈不續約：「State University of New York Steps Away From the “Big Deal” with Elsevier」。

到這邊看到的消息主要都是公立學校系統在開槍，直到前幾天 MIT 也放新聞稿開槍宣佈不續約了，這應該是第一個頂級的私校開槍的消息：「MIT, guided by open access principles, ends Elsevier negotiations」。

維基機百科上查資料的時候，發現台灣在 2016 年底 CONCERT 就宣佈放掉 Elsevier 了，當時有發稿出來：「關於 Elsevier 資料庫合約談判 CONCERT 聲明」。

In Taiwan more than 75% of universities, including the region's top 11 institutions, have joined a collective boycott against Elsevier. On 7 December 2016, the Taiwanese consortium, CONCERT, which represents more than 140 institutions, announced it would not renew its contract with Elsevier.

原來 Fully Homomorphic Encryption 已經被解啦...

在 Hacker News Daily 上看到「IBM Releases Fully Homomorphic Encryption Toolkit for MacOS and iOS; Linux and Android Coming Soon」這個消息，主要是 IBM Research 要放出一些跟 Fully Homomorphic Encryption (FHE) 的 library。

Homomorphic encryption 講的是直接對密文操作：(這邊的 $\cdot$ 是操作，可能是加法，也可能是乘法，或是其他類型)

$C_1 = enc(P_1)$
$C_2 = enc(P_2)$

$enc(P_1 \cdot P_2) = enc(P_1) \cdot enc(P_2) = C_1 \cdot C_2$

也就是說，不需要把 Ciphertext 解成 Plaintext 處理完後再加密回去 (這有安全性與隱私的問題)，而是直接對兩個 Ciphertext 計算就可以了。

之前還在學校學密碼學的時候 (大概 2005 與 2006)，有翻到 Homomorphic encryption 中的 Fully Homomorphic Encryption (FHE) 是尚未被解決的問題，當時的解法都是特殊解。

剛剛因為看到上面那篇文章，查了一下發現原來在 2009 的時候 Craig Gentry 提出了一套方法，用 Lattice-based cryptogtaphy 建構出加法與乘法的操作，也就達成了 FHE 的低標。

查資料的時候發現 1) 他論文只用了十頁 2) 這是他的博班論文，解掉這個 open problem，不過看到他的博班指導教授是 Dan Boneh 好像不意外... XD

(雖然只用了十頁主要還是因為 STOC 篇幅的關係，但扣掉 circuit privacy 的部份，前面在說明建構與證明的過程只用了九頁也是很驚人)

然後接下來的幾年他又跟其他幾位學者改進了不少效能上的問題，在英文版維基百科上可以翻到有好幾個不同世代的 FHE。