Tag: google

Google Groups 將在 2024/02/22 斷開與 Usenet 的連接

在 news.admin.peering 上看到的消息：「Effective February 15, 2024, Google Groups will no longer support new Usenet content」，在 Google Groups 上面也可以看到：

Effective February 15, 2024, Google Groups will no longer support new Usenet content. Posting and subscribing will be disallowed, and new content from Usenet peers will not appear. Viewing and searching of historical data will still be supported as it is done today.

而在 Hacker News 上也有討論「Google Groups ending support for Usenet (support.google.com)」。

話說先前寫的「Google Groups 的 spam 的量又下降了不少...」這篇，後來又有發現不是 Google Groups 的 spam 減少，而是 Cleanfeed 裡面用 SpamAssassin 會造成跑久以後會 100% CPU，反而接收的速度慢下來...

在上了 workaround 後 (每個小時自動重跑一次 innd)，可以看到其實完全沒有變少，反而愈來愈多：

倒是後來一直丟 corpus 進去練 SpamAssassin 後看起來效果好很多了，還是會看到一些 spam，但就沒那麼多了...

用 GPT-4 重現 Google Deepmind 的 Gemini Demo 影片

Google Deepmind 前幾天發表了 Gemini：「Introducing Gemini: our largest and most capable AI model」，同時也釋出了 Demo 影片：

但後來大家發現 Demo 影片中人並不是直接透過語音與 Gemini 互動，而是把輸入進去的指令讓人讀出來，而且省略掉中間的各種 delay，是個被後製不少的影片：「Google’s best Gemini demo was faked」。

然後就有人用 GPT-4 實作出一個可以互動的版本了，雖然是 PoC 等級的，但反而更真實：「Show HN: I Remade the Fake Google Gemini Demo, Except Using GPT-4 and It's Real (greg.technology)」。

記得 Google 年初的 Bart Demo 也出包，可以來看看後面第三次的情況？

Spotify 在 Google Play 上面不需要付 15% 的過路費

Google 的大頭在與 Epic 的訴訟案中被要求揭露了實際的數據：「A secret Google deal let Spotify completely bypass Android’s app store fees」。

如果是透過 Spotify 自家的金流平台，就完全不用付錢給 Google，如果是透過 Google 的平台則是 4%，遠低於一般上架商家的 15% (超過 $1M/y 的部分則會到 30%)：

On the stand, Google head of global partnerships Don Harrison confirmed Spotify paid a 0 percent commission when users chose to buy subscriptions through Spotify’s own system. If the users picked Google as their payment processor, Spotify handed over 4 percent — dramatically less than Google’s more common 15 percent fee.

來看後續法院以及歐盟會怎麼出手？這應該會是蠻重要的證據資料...

Google Groups 的 spam 的量又下降了不少...

延續「從 Google Groups 送出來的 spam 數量稍微下降...」這邊的觀察，從 10/22 到 10/29 降了 2/3 左右，再往後拉七天到了 11/5 可以看到又少了 3/4 左右。

另外整個 article volume 看起來也有降很多，從三個不同的 peering 來的量都有降，看起來是從源頭就有做一些事情。

這是 10/22 的量：

這是 10/29 的量：

這是 11/5 的量：

從 Google Groups 送出來的 spam 數量稍微下降...

先前在「Google Groups 的巨量 spam」這邊提到從 Google Groups 倒進 usenet 大量的 spam，最近看起來稍微緩解了一些。

這是 10/22 的量：

這是 10/29 的量：

可以看出來整體被 Perl filter 擋下來的量大幅降低了，在 comp.lang.c 也可以看出來 10/28 後似乎暫時停了...？

只能繼續觀察看看了...

Google SRE 團隊整理出過去二十年的十一條心得

Google 的 SRE 團隊整理出過去二十年的心得，當看故事的心態在看的：「Lessons Learned from Twenty Years of Site Reliability Engineering」，在 Hacker News 上也有討論：「Lessons Learned from Twenty Years of Site Reliability Engineering (sre.google)」。

裡面的項目大多都會在公司成長時不斷的導入，都是夠大就會遇到的。

比較有趣的是第六條，這是唯一一條全部都用大寫字母列出來的：

COMMUNICATION CHANNELS! AND BACKUP CHANNELS!! AND BACKUPS FOR THOSE BACKUP CHANNELS!!!

到 Google 這個規模的架構，這邊就會規劃找完全獨立於 Google 架構的方案來用；我猜應該是傳統的 colocation 機房 (像是 AT&T 之類的)，上面跑 IRC server 之類的？

在 Hacker News 上面也有其他人提到 Netflix 也有類似的規劃，需要有一個備援的管道是完全獨立於 AWS 的；另外同一則 comment 裡也有提到 Reddit 的作法是在辦公室裡面放 IRC server 備援：

Yes! At Netflix, when we picked vendors for systems that we used during an outage, we always had to make sure they were not on AWS. At reddit we had a server in the office with a backup IRC server in case the main one we used was unavailable.

IRC 還是很好用的 XD

在 Cleanfeed 裡面用 Mail::SpamAssassin 的 Bayesian filter 來擋 Google Groups 的垃圾

本來單純用 Cleanfeed + Mail::SpamAssassin 擋，效果其實不太好：「Google Groups 的巨量 spam」。

後來在 news.software.nntp 討論區裡面有人提到應該要用 sa-learn 訓練：

OK, now you need a ~/.spamassassin directory for your news user and a user_prefs file in that directory. After that you can start adding rules for Usenet spam. You will also need to feed several hundreds of spam and ham articles to sa-learn --spam or sa-learn --ham as the news user. After that, SpamAssassin will gradually improve.

死馬當活馬醫看看，結果看起來效果就出來了：

累積了幾天下來後，單看跑進 comp.lang.c 裡面的 spam 與 Mail::SpamAssassin 這邊擋下來的量，差不多是 99%+ 的量，接下來就是有看到的部分再丟進去 train。

目前看起來唯一的問題就是 Google Groups 的 spam 量真的很大，導致 innd 因為跑 Mail::SpamAssassin 的 bayesian 運算時 CPU usage 會高不少，偶而會撞到 100%，但不是常態所以還好。

繼續觀察看看...

Google Groups 的巨量 spam

Google Groups 的 spam 使得 Usenet 上不少群組都受到波及了，像是 comp.lang.c 的 spam 量已經多到是每天上萬則在上面：

目前看起來 Cleanfeed 擋不住，我試著寫個小 hack (是還蠻 hack 的)，在 cleanfeed.local 裡面用 SpamAssassin 過濾，效果也很不好：

目前最佳解應該就是直接擋掉 Google Groups，另外似乎是有人包裝好 NoCeM 出來，也許後續也可以看看...

GCP 的 IPv4 也要漲價了

前幾天收到 GCP 的信件，提到 2024/02/01 開始 IPv4 address 要漲價了，在「External IP address pricing」這邊也可以翻到這些資訊。

External IP 的部分，漲 25%：

Static and ephemeral IP addresses in use on standard VM instances will go from $.004 to $.005.

Static and ephemeral IP addresses in use on preemptible VM instances will go from $.002 to $.0025.

用一個月 720 小時算，一般 VM 的費用等於是從 $2.88/mo 漲到 $3.6/mo 左右的費用。

Cloud NAT 吃的 IPv4 address 的部分，從本來沒有收變成要收費：

Static and ephemeral IP addresses mapped to Cloud NAT Gateway will go from No Charge to $0.005.

GCP 提供每個區域的 Standard Tier Networking 每個月 200GB 的免費頻寬

GCP 提供每個區域 Standard Tier Networking 每個月有 200GB 的免費頻寬：「Announcing 200 GB free Standard Tier internet data transfer per month」。

這類優惠應該是要給練習或是試用的人用的，吸引他們放一些量上來...

另外雖然是每個區域都有 200GB/mo 的 free bandwidth，但通常也只會用一個或兩個區域，以台灣的 asia-east1 來說，如果有量在上面跑的話，省下來的會是 $0.07/GB 這個部分，大概就是 $14/mo 左右？