neural

KataGo 1.12.0 與 UEC 杯用的 model：b18c384nbt-uec.bin.gz

剛剛看到 KataGo 出了 1.12.0，同時也放出了在 2022 年十一月 UEC 比賽時用的 model：「New Neural Net Architecture!」。

1.12.0 比較特別的新的類神經網路架構：

This version of KataGo adds support for a new and improved neural net architecture!

這個新的架構以及其他的改善讓訓練的速度改善：

The new neural nets use a new nested residual bottleneck structure, along with other major improvements in training. They train faster than KataGo's old nets and learn more effectively.

另外一個是他把 UEC 比賽時用的 model 放出來了，很特別的是採用 b18c384，而 KataGo Distributed Training 這邊目前主要是 b40c256 與 b60c320，看起來是為了比賽而一次性訓練出來的。

依照他的說法這個 b18c384 版本跟目前訓練網站上的 b60c320 有差不多強度，但計算速度會比 b60c320 快不少，甚至在一些機器上會跟 b40c256 差不多快：

Attached to this release is a one-off net b18c384nbt-uec.bin.gz that was trained for a tournament in 2022, which should be of similar strength to the 60-block nets on http://katagotraining.org/, but on many machines will run much faster, on some machines between 40-block and 60-block speed, but on some machines even as fast as or faster than 40-block.

另外一個大改變是他把訓練工具從 TensowFlow 跳槽到 PyTorch：

The training code has been all rewritten to use pytorch instead of tensorflow.

在 release note 裡沒有提到原因，但這個頗讓人好奇的...

Python 上的 OCR

這個 OCR 專案是在 Python 包好，讓你很快就可以上手用：「Easy OCR」。

從結果的 screenshot 可以看到輸出的內容很簡單，就是座標與 OCR 出來的內容：

然後支援的語言很多：

We are currently supporting following 42 languages.

Afrikaans (af), Azerbaijani (az), Bosnian (bs), Simplified Chinese (ch_sim), Traditional Chinese (ch_tra), Czech (cs), Welsh (cy), Danish (da), German (de), English (en), Spanish (es), Estonian (et), French (fr), Irish (ga), Croatian (hr), Hungarian (hu), Indonesian (id), Icelandic (is), Italian (it), Japanese (ja), Korean (ko), Kurdish (ku), Latin (la), Lithuanian (lt), Latvian (lv), Maori (mi), Malay (ms), Maltese (mt), Dutch (nl), Norwegian (no), Polish (pl), Portuguese (pt),Romanian (ro), Slovak (sk) (need revisit), Slovenian (sl), Albanian (sq), Swedish (sv),Swahili (sw), Thai (th), Tagalog (tl), Turkish (tr), Uzbek (uz), Vietnamese (vi)

有些參數可以調整，但預設值似乎就跑得不錯了...

用 OpenCV 與類神經網路放大圖片

在「Deep Learning based Super Resolution with OpenCV」這邊看到 OpenCV 支援這些類神經網路的演算法了，而且有預先訓練好的模型資料可以下載來用。

傳統放大的方法包括 bicubic 與 nearest neighbor，速度很快但是效果就普普通通，而 NN 類的方法的效果遠超過傳統方式，不過速度慢不少。

文章裡面有提到可以指定不同的 NN 模型：

The first parameter is the name of the model. You can choose between: “edsr”, “fsrcnn”, “lapsrn”, “espcn”. It is very important that this model is the correct one for the model you specified in ‘sr.readModel()’. See the Model section on the bottom of the page for the specifications of each model.

拿這些模型名字搜了一下資料，在「Super-resolution benchmarking」這邊可以看到比較，主要是在講 EDSR 很棒，然後 ESPCN 很快？

不過看起來可以直接拿來用在不少地方了...

假新聞產生器與偵測器

在 Hacker News 上看到的消息，是關於「使用類神經網路產生新聞」(也就是透過程式大量產生假新聞)，這次的結果包括了「產生」與「偵測」兩個面向：「Grover – A State-of-the-Art Defense Against Neural Fake News (allenai.org)」。

實驗的網站在「Grover - A State-of-the-Art Defense against Neural Fake News」這邊，另外也有論文「Defending Against Neural Fake News」可以讀。

幾個月前，OpenAI 利用類神經網路，研發出「自動寫新聞」的程式，當時他們宣稱因為效果太好，決定不完整公開成果：「Better Language Models and Their Implications」，中文的報導可以參考 iThome 這篇：「AI文字產生技術引發假新聞爭議，OpenAI決定只公開部份技術成果」。

而現在 The Allen Institute for Artificial Intelligence 則是成功重製了 OpenAI 的成果，取名叫 Grover，發現訓練出來的模型除了可以拿來寫新聞外，也可以拿來偵測文章是不是機器產生的，而且就他們自己測試，辨識成功率還蠻高的：

To study and detect neural fake news, we built a model named Grover. Our study presents a surprising result: the best way to detect neural fake news is to use a model that is also a generator. The generator is most familiar with its own habits, quirks, and traits, as well as those from similar AI models, especially those trained on similar data, i.e. publicly available news. Our model, Grover, is a generator that can easily spot its own generated fake news articles, as well as those generated by other AIs. In a challenging setting with limited access to neural fake news articles, Grover obtains over 92% accuracy at telling apart human-written from machine-written news. Please read our publication for more information.

不過看起來 source code 與 model 還是沒放出來，但看起來遲早會有對應的 open source clone...

我想到在攻殼電視動畫裡面的情報管制戰，雖然電視動畫裡沒有講得很詳細，但感覺這類工具就是其中一環...

用 NN 演算法重製 Full HD 版的 Star Trek: DS9

看到「Remastering Star Trek: Deep Space Nine With Machine Learning」這篇，裡面用了類神經網路演算法，將本來只有 480p (SD) 的 Star Trek: DS9 升到 1080p (Full HD) 的版本，而且看起來效果還不錯...

意外的看到有人拿 Star Trek 的材料來玩... 依照作者的說明，DS9 一直沒有 Full HD 版的其中一個原因反而是因為「數位化」了。使用類比膠卷的母帶可以透過更高規格的重新掃描而得到高畫質版本，但 DS9 的母帶似乎已經是數位版了，所以反而造成無法透過重新掃描的方式取得 Full HD 版本：

While you can rescan analog film at a higher resolution, video is digital and can't be rescanned. This makes it much costlier to remaster this TV show, which is one of the reasons why it hasn't happened.

現有的 upscale 技術主要都還是以圖片為主，所以作者本來以為對於動態畫面的處理會遇到問題，但蠻意外的超出預期，從影片可以看出來：

看起來之後的 remaster 版本有可能可以靠這個方法先做初步，然後再讓人進去修？

透過類神經網路，直接把圖變成 HTML

看到 GitHub 上的「emilwallner/Screenshot-to-code-in-Keras」這個專案，直接把圖片轉成 HTML。介紹的文章則是「Turning Design Mockups Into Code With Deep Learning」。

有點像是「將 Sketch 輸出成 iOS/Android 的程式碼」與「透過 NN (類神經網路) 訓練好的系統，直接把圖片轉成程式碼」(後面這篇剛好在介紹文章裡也有提到)。

愈來愈有 NN 在逐步取代人類工作的感覺了...

基於 RNN 的無損壓縮

在 Hacker News 上看到「DeepZip: Lossless Compression using Recurrent Networks」這篇論文，利用 RNN 幫助壓縮技術壓的更小，而程式碼在 GitHub 的 kedartatwawadi/NN_compression 上有公開讓大家可以測試。

裡面有個比較特別的是，Lagged Fibonacci PRNG 產生出來的資料居然有很好的壓縮率，這在傳統的壓縮方式應該都是幾乎沒有壓縮率...

整體的壓縮率都還不錯，不過比較的對象只有 gzip，沒有拿比較先進的壓縮軟體進行比較) 像是 xz 之類的)，看數字猜測在一般的情況下應該不會贏太多，不過光是 PRNG 那部份，這篇論文等於是給了一個不同的方向讓大家玩...

AlphaGo Zero 的計算量

在 AlphaGo Zero 論文裡有提到，用同樣的硬體 (4 TPU) 可以用 89:11 碾壓 AlphaGo Master (今年年初與柯潔下的那個版本)，主要是得力於更高品質的 neural network 以及更強的選擇能力 (後面這塊應該是將兩個 nerual network 簡化為一後的好處)：

This neural network improves the strength of the tree search, resulting in higher quality move selection and stronger self-play in the next iteration.

那麼對應的問題就會冒出來了，究竟 DeepMind 花了多少時間才能訓練出這個新的 nerual network？結果吳毅成教授在 Facebook 上先估算出來了：

這邊的 TPU 對 GPU 的推估應該是基於當時 Google 在說明 TPU 的部份「An in-depth look at Google’s first Tensor Processing Unit (TPU)」：

In short, we found that the TPU delivered 15–30X higher performance and 30–80X higher performance-per-watt than contemporary CPUs and GPUs.

用 GPU 大約是 12K 顆，反推回 TPU 大約也是千顆這個數量左右。而這個數量以目前已經將 TPU 商用化的 Google 來看應該是很輕鬆，只能說有錢真好 XD：

1. 從另外一個角度看, DeepMind 僅40天就可以把 40-block 版本練起來, 換算一下, DeepMind 等於用了約12000顆 1080 Ti.

對 Open Data 的攻擊手段

前陣子看到的「Membership Inference Attacks against Machine Learning Models」，裡面試著做到的攻擊手法：

[G]iven a data record and black-box access to a model, determine if the record was in the model's training dataset.

也就是拿到一組 Open Data 的存取權限，然後發展一套方法判斷某筆資料是否在裡面。而驗證攻擊的手法當然就是直接攻擊看效果：

We empirically evaluate our inference techniques on classification models trained by commercial "machine learning as a service" providers such as Google and Amazon. Using realistic datasets and classification tasks, including a hospital discharge dataset whose membership is sensitive from the privacy perspective, we show that these models can be vulnerable to membership inference attacks. We then investigate the factors that influence this leakage and evaluate mitigation strategies.

透過 NN 攻擊 NN，而目前的解法也不太好處理，但有做總是會讓精確度降低。論文裡提到了四種讓難度增加的方法：

Restrict the prediction vector to top k classes.
Coarsen precision of the prediction vector.
Increase entropy of the prediction vector.
Use regularization.

另外一個值得看的資料是 2006 年發生的「AOL search data leak」，當年資料被放出來後有真實的使用者被找出來，也是很轟動啊...

透過 NN (類神經網路) 訓練好的系統，直接把圖片轉成程式碼

這個禮拜被 AlphaGo 洗臉後，又看到來搶工作的東西了：「pix2code: Generating Code from a Graphical User Interface Screenshot」。

直接把 Mockup 圖檔丟進去，然後就把 iOS 或是 HTML 程式碼生出來：

不過「刻 UI」的確是工程師最討厭的事情啦，這部份能自動化要怎麼說呢... 好像也是不錯的事情啦 @_@