幹壞事是進步最大的原動力
前幾天不知道在哪邊看到「Five years of GPT progress」這篇，裡面整理了這五年 GPT/LLM 的進程，算是回顧性質的文章，裡面當然有提到技術改善的地方 (像是參數大小，類神經網路層的架構差異)，另外裡面都有原始論文或是資料的連結，然後作者也有描述一些當時的背景，對於要釐清歷史脈絡也蠻有幫助的。
從 GPT、GPT-2、GPT-3 這三個 OpenAI 的作品開始講，然後提到 GPT-3 帶出來的新紀元。
接著提到的是各家都開始進來參與的年代，Jurassic-1 (AI21 Labs)、Megatron-Turing NLG (Nvidia)、Gopher (DeepMind)、Chinchilla (DeepMind)、PaLM (Google AI)。
然後是 LLaMa (Facebook)，第一個有參數夠大，而且效能夠好的 model，被放出來讓大家玩的 LLM。
最後又回到 OpenAI 的 GPT-4。
這樣整理讀起來清晰不少，但要注意裡面的發展不是線性關係，彼此之間互相影響交錯在跑 (因為中間還是有很多其他的論文互相影響)。
一樣是在 Hacker News 上看到「Who invented vector clocks? (decomposition.al)」這篇文章，在找出誰發明了 vector clock，原文在「Who invented vector clocks?」。
主要有兩個不同的時間點，一個是 vector clock 概念的提出，另外一個是第一次用到 vector 這個詞。
這篇讓我覺得有趣的地方是，vector clock 本來就是在處理分散式系統裡面事件順序的問題，而這篇文章則是在找出真實世界裡面這些發明的先後順序，而且也牽扯到了各種 citation (類比到分散式系統裡事件的 dependency)。
美國在今年有不少學校開始跟進，終止與 Elsevier 的合約了。
首先是去年 (2019) 三月加州大學系統宣佈不跟 Elsevier 續約 (參考當時寫的「加州大學宣佈不與 Elsevier 續約」這篇)，今年四月則是北卡大學系統宣佈不續約：「Upcoming Elsevier Cancellations」，以及紐約大學系統也宣佈不續約：「State University of New York Steps Away From the “Big Deal” with Elsevier」。
到這邊看到的消息主要都是公立學校系統在開槍，直到前幾天 MIT 也放新聞稿開槍宣佈不續約了，這應該是第一個頂級的私校開槍的消息：「MIT, guided by open access principles, ends Elsevier negotiations」。
維基機百科上查資料的時候，發現台灣在 2016 年底 CONCERT 就宣佈放掉 Elsevier 了，當時有發稿出來：「關於 Elsevier 資料庫合約談判 CONCERT 聲明」。
In Taiwan more than 75% of universities, including the region's top 11 institutions, have joined a collective boycott against Elsevier. On 7 December 2016, the Taiwanese consortium, CONCERT, which represents more than 140 institutions, announced it would not renew its contract with Elsevier.
在 Hacker News Daily 上看到「IBM Releases Fully Homomorphic Encryption Toolkit for MacOS and iOS; Linux and Android Coming Soon」這個消息，主要是 IBM Research 要放出一些跟 Fully Homomorphic Encryption (FHE) 的 library。
Homomorphic encryption 講的是直接對密文操作：(這邊的 
也就是說，不需要把 Ciphertext 解成 Plaintext 處理完後再加密回去 (這有安全性與隱私的問題)，而是直接對兩個 Ciphertext 計算就可以了。
之前還在學校學密碼學的時候 (大概 2005 與 2006)，有翻到 Homomorphic encryption 中的 Fully Homomorphic Encryption (FHE) 是尚未被解決的問題，當時的解法都是特殊解。
剛剛因為看到上面那篇文章，查了一下發現原來在 2009 的時候 Craig Gentry 提出了一套方法，用 Lattice-based cryptogtaphy 建構出加法與乘法的操作，也就達成了 FHE 的低標。
查資料的時候發現 1) 他論文只用了十頁 2) 這是他的博班論文，解掉這個 open problem，不過看到他的博班指導教授是 Dan Boneh 好像不意外... XD
(雖然只用了十頁主要還是因為 STOC 篇幅的關係，但扣掉 circuit privacy 的部份，前面在說明建構與證明的過程只用了九頁也是很驚人)
然後接下來的幾年他又跟其他幾位學者改進了不少效能上的問題，在英文版維基百科上可以翻到有好幾個不同世代的 FHE。
Bloom filter 算是教科書上的經典演算法之一，在實際應用上有更好的選擇，像是先前提到的 Cuckoo filter：「Cuckoo Filter：比 Bloom Filter 多了 Delete」。
現在又有人提出新的資料結構，號稱又比 Bloom filter 與 Cuckoo filter 好：「Xor Filters: Faster and Smaller Than Bloom Filters」。
不過並不是完全超越，其中馬上可以看到的差異就是不支援 delete：
Deletions are generally unsafe with these filters even in principle because they track hash values and cannot deal with collisions without access to the object data: if you have two objects mapping to the same hash value, and you have a filter on hash values, it is going to be difficult to delete one without the other.
論文的預印本可以在 arXiv 上下載：「Xor Filters: Faster and Smaller Than Bloom and Cuckoo Filters」。
Nature 上點出來期刊論文裡自我引用的問題 (這邊的自我引用包括了合作過的人)：「Hundreds of extreme self-citing scientists revealed in new database」。
開頭舉了一個極端的例子，Vaidyanathan 的自我引用比率高達 94%，而學界的中位數是 12.7%，感覺是有某種制度造成的行為？
Vaidyanathan, a computer scientist at the Vel Tech R&D Institute of Technology, a privately run institute, is an extreme example: he has received 94% of his citations from himself or his co-authors up to 2017, according to a study in PLoS Biology this month. He is not alone. The data set, which lists around 100,000 researchers, shows that at least 250 scientists have amassed more than 50% of their citations from themselves or their co-authors, while the median self-citation rate is 12.7%.
會想要提是因為想到當年 Google 的經典演算法 PageRank，就是在處理這個問題... 把 paper 換成 webpage 而已。
在 Hacker News 上看到「Puffer」這個服務，裡面利用了 machine learning algorithm 動態調整 bitrate，以提昇傳輸品質。
測試得到的數據後來被整理起來一起放進論文：「Continual learning improves Internet video streaming」。
在開頭介紹了 Fugu 這個演算法：
We describe Fugu, a continual learning algorithm for bitrate selection in streaming video.
而 Puffer 就是實驗網站：
We evaluate Fugu with Puffer, a public website we built that streams live TV using Fugu and existing algorithms. Over a nine-day period in January 2019, Puffer streamed 8,131 hours of video to 3,719 unique users.
這個站台提供了許多真實的頻道進行測試：
Stream live TV in your browser. There's no charge. You can watch U.S. TV stations affiliated with the NBC, CBS, ABC, PBS, FOX, and Univision networks.
可以看到 Fugu 的結果很好，比起其他提出的方案是全面性的改善：
這邊是用 WebSocket 測試，並且配合了不同的 TCP congestion algorithm，沒有太考慮額外的計算成本...
三月的時候加州大學系統 (UC) 因為 Elsevier 不接受 open access 的條件而公開宣佈不續約 (參考「加州大學宣佈不與 Elsevier 續約」)，後來 Elsevier 應該是試著看看有沒有機會繼續合作，所以在這段期間還是一直提供服務給加州大學系統。
前幾天在 Hacker News 上看到「Elsevier cuts off UC’s access to its academic journals (latimes.com)」，總算是確定要動手了：「In act of brinkmanship, a big publisher cuts off UC’s access to its academic journals」。
不過也不是直接拔掉，而是限制存取權，看不到新東西 (以 2019/01/01 為界)：
As of Wednesday, Elsevier cut off access by UC faculty, staff and students to articles published since Jan. 1 in 2,500 Elsevier journals, including respected medical publications such as Cell and the Lancet and a host of engineering and scientific journals. Access to most material published in 2018 and earlier remains in force.
UC 提出的商業模式是讓投稿者負擔費用，而存取者不需要負擔，與現有的商業模式剛好相反。UC 提出的模式鼓勵「知識的散佈」，而現有的商業模式則是反過來，希望透過知識的散佈而賺～大～錢～發～大～財～：
UC demanded that the new contract reflect the principle of open access — that work produced on its campuses be available to all outside readers, for free.
That was a direct challenge to the business model of Elsevier and other big academic publishers. Traditionally, the publishers accept papers for publication for free but charge steep subscription fees. UC is determined to operate under an alternative model, in which researchers pay to have their papers published but not for subscriptions.
另外在 Hacker News 上的 comment 裡看到一些專案也正在進行，像是歐洲的「Plan S」也是在推動 open access：
The plan requires scientists and researchers who benefit from state-funded research organisations and institutions to publish their work in open repositories or in journals that are available to all by 2021.
另外「PubPub · Community Publishing」也是 open source 領域裡蠻有趣的計畫，後面看起來也有不少學術單位在支持。
加州大學 (這是一個大學系統，包括了十個校區，超過 25 萬的學生與 14 萬的教職員) 認為 Elsevier 沒有達到 open access 應有的標準，決定將不再跟 Elsevier 續約，並且發出新聞稿抨擊 Elsevier：「UC terminates subscriptions with world’s largest scientific publisher in push for open access to publicly funded research」。
As a leader in the global movement toward open access to publicly funded research, the University of California is taking a firm stand by deciding not to renew its subscriptions with Elsevier. Despite months of contract negotiations, Elsevier was unwilling to meet UC’s key goal: securing universal open access to UC research while containing the rapidly escalating costs associated with for-profit journals.
這應該是美國頂尖學院裡面的第一槍？後續會帶動多少單位不續訂...
在「Radical open-access plan could spell end to journal subscriptions」這邊看到歐洲 11 個研究機構資助者成立了「cOAlition S」，推動研究論文的開放存取。
目標是在 2020 年開始，由這些機構所資助的研究都必須投在符合完全開放條件的平台上：
cOAlition S signals the commitment to implement, by 1 January 2020, the necessary measures to fulfil its main principle: “By 2020 scientific publications that result from research funded by public grants provided by participating national and European research councils and funding bodies, must be published in compliant Open Access Journals or on compliant Open Access Platforms.”
而現在大約只有 15%：
According to a December 2017 analysis, only around 15% of journals publish work immediately as open access (see ‘Publishing models’) — financed by charging per-article fees to authors or their funders, negotiating general open-publishing contracts with funders, or through other means.
用這種方式降低那些收錢才能下載的平台的影響力...
