Category: Recreation

用繪本 (?!!!) 解釋 Apache Kafka

在 Hacker News 上看到「I wrote a children's book / illustrated guide to Apache Kafka (gentlydownthe.stream)」這篇，用繪本的方式解釋 Apache Kafka 的運作方式：「Gently Down the Stream」，非常值得一看。

以 Hacker News 上 upvote 的數量來看，應該也會上明天的 Hacker News Daily。

這繪本還帶有一些動畫效果，而且把需要提到的東西都有帶出來 (像是 Kafka Connector 都有提到)，不過雖然作者目標群是小朋友，看起來大人還比較興奮？

Brendan Gregg 遇到的 An Unbelievable Demo

在 Hacker News Daily 上看到的熱門話題，Brendan Gregg 是效能分析領域的大老，現在在 Netflix 工作，在維基百科的條目「Brendan Gregg」上也有提到他的一些知名發明，像是 Flame Graphs：

He has also created visualization types to aid performance analysis, including latency heat maps, utilization heat maps, subsecond offset heat maps, and flame graphs.

昨天他發了一篇文章在講之間他遇到的事情，原文把過程寫的很有戲劇性，值得去看一看：「An Unbelievable Demo」，而 Hacker News 上的討論也很精彩：「An Unbelievable Demo (brendangregg.com)」，還引出了 Colin Percival 也分享他的經驗。

快速講 Brendan Gregg 遇到的事情，2005 年時 Brendan Gregg 因為業務上的需要 (他當年是效能分析的顧問)，幫 Sun 推出的 DTrace 寫了一包工具，叫做 DTraceToolkit，用 GPLv2 或是 CDDL 釋出。

這包工具被 Sun 的人拿去用，並且拔掉作者與授權資訊，然後還被拿去「世界巡迴」介紹這個工具，最後在雪梨的時候居然是拿來介紹給 Brendan Gregg，然後被原作者打臉。

不過他後來還是加入了 Sun... XDDD

Colin Percival 的故事則沒有牽扯到 copyright issue，不過也很有趣，這邊提到的是 bsdiff，也是個經典的工具：

Reminds me of when Apple started providing "smaller size updates" to OS X. I was curious about the details since my doctorate had touched on the topic, so I worked my contacts (I had a few in Apple engineering from the FreeBSD / OS X relationship) and after a few months I got back as answer: "We're using a tool called bsdiff, are you familiar with it?" I was indeed, since I was the author of said tool.

(Just to be clear, there was no license violation involved in this case; just a lack of awareness of the provenance of the open source software they were using.)

另外在其他的 thread 裡面，可以看到 Brendan Gregg 也有浮上來回應 (可以直接字串搜尋 brendangregg)，裡面也提到了有趣的故事，像是他另外一個發明 latency heat map 在一些會場上的交流，以及自己也有遇到其他工具的作者：

Thanks. There was a time when many observability products were adding latency heat maps, and at one conference expo floor there were three companies with latency heat maps on their screen at the same time, pitching them as a flagship feature. If I walked near them they'd start trying to explain them to me, and I never figured out an appropriate response. If I said "hey, great to see you added them, I invented these back at Sun" I'd get funny looks.

I think it's a small world, and everything is software, so the chance you'll bump into someone who wrote software you are using I think is pretty high. I was once trying to get my head around Andi Kleen's pmu-tools, and I had the github repo open in my browser on my laptop I was carrying, when the guy sitting next to me on a bus says he's Andi Kleen. (Ok, it was a bus taking Linux conference attendees to an event, not a random bus, but I still found it remarkable timing -- I was studying pmu-tools at that exact time!)

拿來配啤酒的文章 XD

Windows 上現成的 KataGo + Lizzie 安裝程式

本來花了一些功夫整理了一下 KataGo + Lizzie 純 CPU 版本在 Windows 上的安裝方式 (在「KataGo/Windows」這邊)，後來找了一下發現早就有人做的更簡單了：「BadukMegapack」。

底層的部份除了可以選擇裝 KataGo 外，也可以選擇目前已經停止維護的 Leela Zero，或是 SAI、AQ 與 Ray。

而界面的部份除了可以用 Lizzie 外 (而且還是改過的加強版 XD)，還可以選其他的界面... 除此之外還連 JVM (Java 8) 都一起拉進來幫你裝。

看起來算是包的好好的... 看起來最困難的應該是弄一張高階顯卡了？

Apple 與 Amazon 都要推出無損版的音樂串流服務了

首先是 Apple 宣佈了無損的音樂串流服務，不另外加價：「Apple Music Launching Spatial Audio With Dolby Atmos and Lossless Audio in June at No Extra Cost」，官方新聞稿在「Apple Music announces Spatial Audio with Dolby Atmos; will bring Lossless Audio to entire catalog」。

再來是 Amazon 也宣佈跟上，本來就有提供無損的 Amazon Music HD 下放到 Amazon Music Unlimited 方案也可以聽了：「Amazon Music Matching Apple by Offering Hi-Fi Tier at No Extra Cost」。

這對 Spotify 的壓力應該不小，畢竟已經先宣佈會推出無損版，但卻反而先被競爭對手出招先行制定價錢了...

CVE-2021-32471 發了一個 1967 年電腦的安全性漏洞？

在 Hacker News 首頁上看到好幾則都在講 CVE-2021-32471：

Insufficient input validation in the Marvin Minsky 1967 implementation of the Universal Turing Machine allows program users to execute arbitrary code via crafted data. For example, a tape head may have an unexpected location after the processing of input composed of As and Bs (instead of 0s and 1s). NOTE: the discoverer states "this vulnerability has no real-world implications."

等下，今天不是四月第一天啊，現在已經五月多了啊...

GTA Online 釋出官方修正，大幅改善啟動效能

看到「GTA Online load time fix released, shaves off actual minutes of waiting for some」這邊的消息，先前在「GTA 的啟動讀取效能問題」這邊提到 GTA Online 啟動速度很慢的問題，官方正式推出修正版本了：「GTAV Title Update 1.53 Notes (PS4 / Xbox One / PC)」。

抓了一些在 Reddit 的討論「Loading Times Have FINALLY been patched - Discussion Thread」。

這則降的比率與當時 workaround 的修正差不多：

Insane. GTA menu -> GTA: Online.

Dropped from 7 minutes to 1:57

i7-2600k,GTX1070,16GB RAM and the game is on HDD.

這個就有點誇張了，這是 90% 吧？

Dropped from 5-8 minutes to 35 seconds

這個差不多 70%～80%：

Loading time 2m 20s for online directly from steam. Before it was like 8-10 minutes for me. Damn

Edit: 50s for story mode. 35s from story mode to online. So it seems it's still faster to load into online from story mode.

這個也差不多 70%：

From 4-5 minutes to 1 a minute and 22 seconds. Y e s p l e a s e

然後 PS4 的版本原來也受到一樣的影響？

Currently tested on PS4 , from main menu to online : 3min 45 sec From story mode to online: 1min 20sec (😩 i can't tell for sure )

整體看起來是正面的，畢竟大家等這個問題等超久了... 另外也可以看出來當初的 workaround patch 其實相當精準的把問題都解掉了，官方的修正並沒有快更多。

來繼續關注 libc 那邊的問題...

泡茶方式的 ISO 標準：ISO 3103

在 Twitter 上看到這個太哭腰了，泡茶也有 ISO 標準：

在中文維基百科內也有條目可以看：「ISO 3103」，裡面有提到這是從 BSI 6008:1980 來的：

ISO 3103是一項由國際標準組織（通稱ISO）所制訂的標準，其中詳細說明了一種標準化的泡茶方法，源自於1980年由英國標準協會（BSI）所制定的標準BS 6008:1980。此標準是由ISO的第34技術委員會（食品）中的第8子委員會（茶）所制定。

1999年搞笑諾貝爾獎將文學獎授予BS 6008標準。

這個真的是太哭腰了...

GTA 的啟動讀取效能問題

這件事情也已經過了一個禮拜，來整理一下發生什麼事情...

起因是 GTA Online 的遊戲開啟速度很慢，而有人一路 reverse engineering 找出問題並且解決：「How I cut GTA Online loading times by 70%」，對應的 Hacker News 討論有提到其他有趣的事情也可以看看：「How I cut GTA Online loading times by 70% (nee.lv)」。

作者的電腦不算太差，但光開啟 GTA Online 就需要六分鐘，網路上甚至有辦投票蒐集大家的等待時間，發現也有很多人反應類似的問題：

接下來就開始 reverse engineering 了，先觀察各種狀態後發現是卡在 CPU，而不是網路或 Disk I/O，然後就拿出 Luke Stackwalker 這個工具 profiling，不過因為沒有 debug symbol 幫忙 group，所以只能人工判斷後，可以看到兩個問題：

第一個問題發現效能是卡在 strlen()，而 call stack 可以看出來是從 sscanf() 一路打進去的：

反追發現是在處理 10MB 的 JSON 檔造成的，裡面 sscanf() 因為拉出 strlen()，於是就造成把整個 10MB 的 JSON 掃過很多次 (一開始是 10MB，掃到後面會愈來愈少，平均下來應該是 5MB)：

第二個問題產生的時間會在第一個問題跑完後，另外看問題的性質，應該跟第一個 JSON 處理有關，他會把 JSON 處理過的資料丟進 array，每個 entry 長這樣：

struct {
    uint64_t *hash;
    item_t   *item;
} entry;

丟進 array 是 OK 的，但問題在於他需要判斷 entry 是否重複，卻沒有用 hash 或是 tree 的結構，而這邊大約有 63k 筆資料，用 array 實做就產生了 O(n^2) 的演算法：

But before it’s stored? It checks the entire array, one by one, comparing the hash of the item to see if it’s in the list or not. With ~63k entries that’s (n^2+n)/2 = (63000^2+63000)/2 = 1984531500 checks if my math is right. Most of them useless. You have unique hashes why not use a hash map.

作者在 PoC 的章節裡面描述他怎麼解這兩個問題。

第一個問題比較好的解法是修正 JSON Parser，但這太複雜，所以他用 workaround 解：把 strlen() 包起來，針對長字串加上一層 cache：

  • hook strlen
  • wait for a long string
  • “cache” the start and length of it
  • if it’s called again within the string’s range, return cached value

而第二個問題他直接把檢查是否有重複的跳過，因為資料本身不重複：

And as for the hash-array problem, it’s more straightforward - just skip the duplicate checks entirely and insert the items directly since we know the values are unique.

整個開啟的速度從六分鐘降到一分五十秒，還是偏慢，但算是大幅緩解的 GTA Online 啟動速度的問題了。

不過故事到這邊還沒結束，有人一路去挖，發現其實 sscanf() 的效能地雷已經不是第一次了：YAML 的 Parser 也中過一樣的問題：「Parsing can become accidentally quadratic because of sscanf」，這篇也一樣上了 Hacker News：「Parsing can become accidentally quadratic because of sscanf (github.com/biojppm)」。

然後這又帶出了六年前在 StackOverflow 上就有人問過這個問題：「Why is glibc's sscanf vastly slower than fscanf on Linux?」。

另外也有人整理出來，應該是大家把同樣的演算法拿來實做：

JdeBP 3 days ago

I found this while making a collection of what C implementation does what at https://news.ycombinator.com/item?id=26298300.

There are two basic implementation strategies. The BSD (FreeBSD and OpenBSD and more than likely NetBSD too), Microsoft, GNU, and MUSL C libraries use one, and suffer from this; whereas the OpenWatcom, P.J. Plauger, Tru64 Unix, and my standard C libraries use another, and do not.

The 2002 report in the comp.lang.c Usenet newsgroup (listed in that discussion) is the earliest that I've found so far.

後續的更新動作可以再追一下進度 (包括 GTA Online 與各家的 libc)。

Square 入主 Tidal

金流產業的 Square 買了音樂產業的 Tidal 大量股份，入主 Tidal：「Square to Buy Majority Stake in Jay-Z’s Tidal Music Streaming Platform」，TechCrunch 也有報導：「Square buys majority of Tidal, adds Jay Z to its board in bid to shake up the artist economy」。

這次的入股包括現金與股票交換，同時也讓 Jay-Z 成為 Square 的董事：

Square Inc. is buying a majority stake in Tidal, a music and entertainment platform owned by rapper Shawn “Jay-Z” Carter and other artists, for $297 million in cash and stock.

The deal also installs musician and businessperson Jay Z on Square’s board.

Square 跟 Tidal 的組合想像起來有點累，這算盤不知道怎麼打...

KataGo 的分散式訓練計畫啟動了

KataGo 應該是目前 open source 領域裡面數一數二強的圍棋引擎，在去年就一直在開發可以讓大家參與的分散式訓練計畫，最近釋出了 v1.8.0 版，算是公開啟動了：「KataGo Distributed Training」，作者在「KataGo distributed training is open!」這邊也有大概寫一下。

基本上照著官方網站上面的說明做就可以了，可以下載 precompiled binary 或是自己編，自己編的時候注意不能直接拿 master branch 裡面編 (client hash 會不對)，我自己目前是用 v1.8.0 這個版本編出來跑。

在 Reddit 上面的「KataGo's new run is open for public contributions!」也可以看到說明的圖片 (要注意圖上的 X 軸不是線性)，算是接著本來的 g170 訓練下去，另外也標示了 ELFv2 與 Leela Zero 大致上的強度：

目前看起來陸陸續續有人開始參與了...

另外在 CGOS 上面也可以看到 kata1 開頭的 bot 在跑，而且看起來會一直把新的 training 成果更新上去跑。