雖然 GitHub 有提供 license 相關的 API 可以查，但因為準確度不高 (只要稍微改到，GitHub 就無法偵測到正確的 license)，所以有人決定用 machine learning 的方式另外分析：「Detecting licenses in code with Go and ML」。當然這邊是分析公開的部份：
最大包的是 MIT License，次之是 Apache-2.0 (問號那群先不管)，再來是 GPL 家族的各版本。沒有太特別的意外發生...
Tag: go
Home » Posts tagged "go"
Google 推出 gVisor 強化 Container 的安全性
Google 發表了 gVisor，針對 Linux 所使用的 container 技術強化安全的部份：「Open-sourcing gVisor, a sandboxed container runtime」。
依照 Google 的說法，一般 container 的架構是這樣：
而具有強隔離性的 VM 技術則是這樣：
在 VM 的 overhead 偏重，但一般的 container 安全性又不夠。而 gVisor 則是這樣：
對於目前最常見的 Docker 系統上，在安裝 gVisor 後只需要指定 --runtime=runsc 就可以使用 (預設是 --runtime=runc)，像是這樣：
$ docker run --runtime=runsc hello-world $ docker run --runtime=runsc -p 3306:3306 mysql
其中 runsc 的意思是「run Sandboxed Container」。
另外而因為 gVisor 卡在中間，不認識的 syscall 都會被擋下來，所以目前並不是所有的應用程式都可以跑，但開發團隊已經測了不少應用程式可以在上面運作，算是堪用的程度：
gVisor implements a large part of the Linux system API (200 system calls and counting), but not all. Some system calls and arguments are not currently supported, as are some parts of the /proc and /sys filesystems. As a result, not all applications will run inside gVisor, but many will run just fine, including Node.js, Java 8, MySQL, Jenkins, Apache, Redis, MongoDB, and many more.
值得一提的是，雖然是處理 syscall，但是是用 Go 開發的，而不是 C 或是 C++，這點頗特殊的...
在 TeX 上輸出圍棋棋譜的套件 psgo_emitter
忘記是在哪邊看到 avysk/psgo_emitter 這個套件，提供 TeX 語法輸出成圍棋棋盤的圖示，不過說明裡說只支援 Windows 平台：
psgo_emitter is a (Windows) console utility to create go diagrams for go life-and-death problems (tsumego).
可以只輸出角部，像是這段語法：
\begin{psgopartialboard}{(1,1)(8,6)}
\stone{black}{b}{3}
\stone{black}{d}{3}
\stone{black}{b}{4}
\stone{white}{d}{5}
\stone{white}{g}{2}
\stone{black}{d}{2}
\stone{white}{b}{5}
\stone{white}{c}{4}
\stone{white}{e}{4}
\stone{white}{e}{3}
\stone{white}{e}{2}
\stone{black}{e}{1}
\end{psgopartialboard}會輸出這樣的圖：
另外也可以把手順放進去：
\begin{psgopartialboard}{(1,1)(8,6)}
\stone{black}{b}{3}
\stone[\marklb{1}]{black}{a}{2}
\stone{black}{d}{3}
\stone{black}{b}{4}
\stone[\marklb{8}]{white}{f}{1}
\stone[\marklb{6}]{white}{d}{1}
\stone{white}{e}{2}
\stone{white}{g}{2}
\stone{black}{d}{2}
\stone{white}{b}{5}
\stone[\marklb{7}]{black}{b}{2}
\stone[\marklb{9}]{black}{a}{1}
\stone{white}{c}{4}
\stone[\marklb{4}]{white}{c}{2}
\stone{white}{e}{4}
\stone[\marklb{5}]{black}{c}{3}
\stone{white}{e}{3}
\stone[\marklb{2}]{white}{b}{1}
\stone{white}{d}{5}
\stone[\marklb{3}]{black}{a}{4}
\stone{black}{e}{1}
\end{psgopartialboard}就會輸出：
套件還很新，不知道之後會發展成什麼樣子...
AlphaGo 的電影將會上在 Netflix
Twitter 上看的消息，2018 年上到 Netflix：
Happy holidays everyone! Excited to announce that #AlphaGo Movie will be available to watch on #Netflix from 1st January 2018! pic.twitter.com/AlJhM9GuAa
— AlphaGo Movie (@alphagomovie) December 25, 2017
沒幾天了，來等吧...
AlphaGo 的開局庫分析
在 Facebook 上看到 Aja Huang 的訊息，介紹了 DeepMind 放出的新資料，由 AlphaGo 分析人類開局的各種勝率 (不是先前發表出來更凶的 AlphaZero，但不曉得是 AlphaGo Zero 還是 AlphaGo Master...)。
網站在 AlphaGo Teach: Discover new and creative ways of playing Go，盤面上的數字都是指黑棋勝率。
This tool provides analysis of 6,000 of the most popular opening sequences from the recent history of Go, using data from 231,000 human games and 75 games AlphaGo played against human players.
Explore the board and learn how AlphaGo's moves compare to those of professional and amateur players.
由於這是暴力法算出超大量的開局資料，而且是完整公佈在網路上，可以預料接下來的職業比賽，開局應該會參考這邊的資料進行修正...
Cloudflare 測試 ARM 新的伺服器
Cloudflare 測試 ARM 新的伺服器 (是由 Qualcomm 與 Cavium 提供工程樣品給 Cloudflare 測試)：「ARM Takes Wing: Qualcomm vs. Intel CPU comparison」。
原文有很多測試數據，可以看出來跟以前比起來好很多。系統程式的效能都還不錯，跟 Intel 平台各有輸贏，但 Go 對 ARM 的最佳化好像不太好，有點慘...
不過這樣至少表示了有機會互拼，如果考慮電力使用情況，加上這還是工程樣板的話，應該是可以拉板凳了？
AlphaGo Zero 演算法的 Open Source 實做
Leela 的作者 Gian-Carlo Pascutto 依照 paper 的描述寫完了，放在 GitHub 上的 gcp/leela-zero：
I made an open source re-implementation of AlphaGo Zero: https://t.co/p8H6gGohA1
It just needs a good weights file.
— Gian-Carlo Pascutto (@gcpascutto) October 24, 2017
不過他在 Twitter 上也提到了，open source 實做不是真正的困難，真正的困難在於訓練完的資料，那個部份需要大量的成本才有辦法作到：
Every redditor is asking to opensource AlphaGo Zero, when all we really need are those last 500k self-play games.
— Gian-Carlo Pascutto (@gcpascutto) October 19, 2017
另外他推估 AlphaGo Zero 的計算量是 1700 年 (以 1080 Ti 來計算)：「[Computer-go] Zero performance」。
另外 Leela 0.11.0 也推出了，還是先維持 policy + value 的方式，但引入了不少新演算法加強。另外一個蠻特別的地方是 Windows 版改用 clang 而變快不少：
Windows version is now compiled with Clang/LLVM 5.0 instead of MSVC2017. This makes the Monte Carlo evaluations about 15% faster.
雖然 DeepMind 說要收手，但還是留下不少方向讓大家走...
AlphaGo Zero 的計算量
在 AlphaGo Zero 論文裡有提到，用同樣的硬體 (4 TPU) 可以用 89:11 碾壓 AlphaGo Master (今年年初與柯潔下的那個版本)，主要是得力於更高品質的 neural network 以及更強的選擇能力 (後面這塊應該是將兩個 nerual network 簡化為一後的好處)：
This neural network improves the strength of the tree search, resulting in higher quality move selection and stronger self-play in the next iteration.
那麼對應的問題就會冒出來了，究竟 DeepMind 花了多少時間才能訓練出這個新的 nerual network？結果吳毅成教授在 Facebook 上先估算出來了：
這邊的 TPU 對 GPU 的推估應該是基於當時 Google 在說明 TPU 的部份「An in-depth look at Google’s first Tensor Processing Unit (TPU)」：
In short, we found that the TPU delivered 15–30X higher performance and 30–80X higher performance-per-watt than contemporary CPUs and GPUs.
用 GPU 大約是 12K 顆，反推回 TPU 大約也是千顆這個數量左右。而這個數量以目前已經將 TPU 商用化的 Google 來看應該是很輕鬆，只能說有錢真好 XD：
1. 從另外一個角度看, DeepMind 僅40天就可以把 40-block 版本練起來, 換算一下, DeepMind 等於用了約12000顆 1080 Ti.
AlphaGo 與柯潔下的三盤棋，包括了雙方的講解
關於圍棋貼目的問題...
前陣子 AlphaGo 大獲全勝後放出了五十盤自戰棋譜 (兩台 AlphaGo 自己下)，其實有件事情有點出乎大家意料，而在圍棋界被一直討論。就是在這五十盤裡，黑棋與白棋的勝率比是 12:38 (中國規則，黑棋貼 7.5 目的情況)，明顯白棋有強大的優勢。
這個 7.5 目指的是，由於黑棋先下 (先手優勢)，所以圍的地會比較多，為了彌補白棋後下的這個缺點，一般都會設計「貼目」這個規則。
交大資工的 CGI 團隊在上個月月底發了一篇論文 (參考「CGOS Whole Period Ratings for 19x19 Board」這邊的記錄，在有參加 CGOS 的團隊裡只輸新版的 Zen)，討論 value network 的新想法：「Multi-Labelled Value Networks for Computer Go」。
他們對貼目的數量做了分析：
For the training data, we label on output 𝑣𝑘 as follows. For each self-play game, first calculate territory difference 𝑛 at the end of the game. Then, based on the Chinese rule, label 1 (win) on 𝑣𝑘 for all 𝑘 < 𝑛, and -1 (lose) for all 𝑘 > 𝑛. (Note that the draw case 𝑘 = 𝑛 is ignored in this paper since the komi is not an integer normally.) For example, if black occupies 7 more points of territory than white, the 𝑘-komi game is considered a win for all 𝑘 < 7, and a loss for all 𝑘 > 7. Thus, in this case, a 7.5-komi game is a loss, and a 6.5-komi or 0.5-komi game is a win.
這個研究完全顛覆了目前職業棋手一般的理解。目前的理解是，貼 5.5 目是黑棋優勢，貼 7.5 目是白棋優勢 (所謂的大貼目時代)。
接下來應該會有更多的研究出來，圍棋界會不會反思貼目規則呢...