John Carmack 對於 1990 年代類神經網路沒有興起的討論...

Hacker News 上看到「Neural networks in the 1990s (」這篇,原推在:

在 Hacker News 上的 rm999 有提到當時的結果,可以解釋為什麼在 1990 年代時類神經網路沒有興起的關係:

A lot of the problems that did benefit from neural networks in the 90s/early 2000s just needed a non-linear model, but did not need huge neural networks to do well. You can very roughly consider the first layer of a 2-layer neural network to be a series of classifiers, each tackling a different aspect of the problem (e.g. the first neuron of a spam model may activate if you have never received an email from the sender, the second if the sender is tagged as spam a lot, etc). These kinds of problems didn't need deep, large networks, and 10-50 neuron 2-layer networks were often more than enough to fully capture the complexity of the problem. Nowadays many practitioners would throw a GBM at problems like that and can get away with O(100) shallow trees, which isn't very different from what the small neural networks were doing back then.

1990 年代時的主題還是比較簡單的題目,像是分 category 這類題目 (一個常見的應用是 spam filter),而這些題目在傳統方式與類神經網路的差異並不大。

直到後來 GPU 運算技術的成熟,而且從 2010 年有 cloud 的概念以後,一般單位可以不用花大錢自己建整套超級電腦,只需要花一些 OPEX 就可以生出小型的超級電腦 (短時間),這讓不少單位都可以有夠大的計算力計算大型 model (相較於以前的大小),也才看得出來大型 model 用來解更複雜問題的威力。

而 2014 年的 AlphaGo 算是一個類神經網路對一般人衝擊的成功案例 (i.e. 跨出圈子),這也讓投資人對人工智慧的主題更願意投資。

John Carmack 離開 Meta (Facebook)

這幾天另外一個比較大的人事變化,John Carmack 決定離開 Meta (Facebook):「I resigned from my position as an executive consultant for VR with Meta.」,裡面直接提到的是效率問題,但應該是搞不定政治問題。

接下來他會跑去搞自己在八月弄的新創 Keen Technologies,主打 AGI 主題,八月當時的新聞在這:「John Carmack’s AGI startup raises $20M from Sequoia, Nat Friedman, Patrick Collison and others」。

不過有個好奇的點,是這篇的 url 是不帶 encrypted tracking parameters 的,這是怎麼拿到的...

難得看到 John Resig 的 Blog 更新,在講 Mastodon

jQuery 的發明人 John Resig 已經超久沒更新 blog 了,雖然有訂起來但沒想到會看到他更新:「Twitter vs. Mastodon」。上次的更新是 2016 年初,快七年了。

基本上裡面就是解釋 TwitterMastodon 的差異,然後順便介紹他自己的 Mastodon 帳號。

不過目前看了一輪,ActivityPub 的各種實做還是離理想差了一截,可能會先繼續龜著...

CIA 老大告訴參議員,在加密系統裡放後門是可行的,因為沒有公司可以逃離美國魔掌

如同標題講的,CIA 老大 John Brennan 告訴參議員,因為實務上不存在「Non-US encryption」,所以強制任何要進入美國的企業使用美版帶有後門的加密系統是可行的:「Non-US encryption is 'theoretical,' claims CIA chief in backdoor debate」。

CIA director John Brennan told US senators they shouldn't worry about mandatory encryption backdoors hurting American businesses.

And that's because, according to Brennan, there's no one else for people to turn to: if they don't want to use US-based technology because it's been forced to use weakened cryptography, they'll be out of luck because non-American solutions are simply "theoretical."

這位腦袋已經壞掉了啊,你知道有個叫做 China,拼做 C-h-i-n-a 的經濟體系嗎... 然後中美共用同一套有後門的加密系統瞬間就會被一堆人打槍,如果真的發生,還有個歐盟... 而且這些事情只是促進以色列的安全系統加速脫離美國掌控啊?以色列才是目前資安的超級強國啊...


Love your country, but never trust its government

Hacker News Daily 上看到的,在 Sun-2 的 bootloader 裡可以看到「Love your country, but never trust its government」這樣的字串:「Why the Sun 2 has the message "Love your country, but never trust its government"」。

這段字串是由 John Gilmore 當時在 Sun 開發時所放入的,John Gilmore 同時也是後來 EFF 創辦人之一,不過當初放入這段字串的目的是為了抓到盜版:

Yes. Vinod Khosla, first President of Sun, came to me at one point and said to put something hidden, triggered in an unexpected way, into the ROM Monitor, so that if somebody cloned the Sun Workstation (violating our software’s copyright), we could do that unexpected thing to the competitor’s demo workstation at a trade show and thereby prove that they had cloned it.

過了三十年後 John Gilmore 被挖出來問的回應也是蠻有趣的... (可以參考原文附上的信件)

而這句話現在回頭看也很經典,尤其是最近各國政府想要在 crypto system 裡面放後門的各種反應。

2006 年的 jQuery 程式碼...

對於現在變成 Web JS 代名詞 jQuery 的誕生。

John Resig (jQuery 的發明人) 的懷舊文:「Annotated Version of the Original jQuery Release」。

重點在「Annotated jQuery Release」裡他寫了不少註解 (以 2015 年現在的觀點來寫),有很多感嘆啊 XDDD

John Carmack 加入 Oculus

上個禮拜的新聞,John Carmack 加入 Oculus:「John Carmack Joins Oculus as CTO」。

身為 id Software 創辦人 (以及電玩遊戲領域超重量級人物),另外也是 Open Source 的推廣者,近年來把心力放在 VR 技術上 (不論是軟體還是硬體),加入 Oculus VR 明顯是繼續往目前的理想邁進... (順便賺賺麵包錢),而這位大師能夠帶給 VR 領域什麼樣的刺激,接下來這幾年就很值得看看了...

喔對,每次提到 John Carmack,當然就要提 1995 年 28 吋 1920x1080 的螢幕:

John Resig 寫超過三年的 Secrets of the JavaScript Ninja 終於出版了...

寫到從 Mozilla 換到 Khan 了... XD

John ResigjQuery 的建立者,並長期擔任 jQuery 的大頭 (不過目前已經將位置讓給其他人了,不太深入參與 jQuery 的發展了),所以在 John Resig 還在帶領 jQuery 發展時預定所要出版的書「Secrets of the JavaScript Ninja」備受期待。

The cover of Secrets of the JavaScript Ninja

然後這一期待就是三年... 從 2009 年開始寫 (參考「50% Off Secrets of the JavaScript Ninja」這篇),終於在 2012 年結束之前寫完上架了:

嗯,HUNTER×HUNTER 什麼時候會出下一章呢...

John Carmack 在 1995 年的 28" 1920×1080 螢幕...

有點舊的消息,之前看到有人提但當時沒有寫 blog,最近又看到這張圖...

這是 John Carmack (id Software 創辦人) 在 1995 年所拍攝的 1920×1080 CRT 螢幕,吃電能力高達 180W:「John Carmack coded Quake on a 28-inch 16:9 1080p monitor in 1995」...

以時間點來算,這應該是開發 Quake 系列所用的螢幕...