Tag: gcp

GCE 的 IP 要收費了...

收到信件通知，本來在 GCE 上使用的 Public IP address 是免費的，2020 年開始變成要收 USD$0.004/hr (Standard，約 USD$2.88/month) 或是 USD$0.002/hr (Preemptible，約 USD$1.44/month)：

First, we’re increasing the price for Google Compute Engine (GCE) VMs that use external IP addresses. Beginning January 1, 2020, a standard GCE instance using an external IP address will cost an additional $0.004/hr and a preemptible GCE instance using an external IP address will cost an additional $0.002/hr.

從 2020 年一月開始生效，但是前三個月會用 100% discount 的方式呈現在帳單上 (所以還是免費)，這樣你會知道你的 IP address 費用會吃多少錢：

We will fully discount any external IP usage for the first 3 months to help you quantify the impact of these pricing changes. Please take note of the following dates:

January 1, 2020: Although your invoice will show your calculated external IP-related charges, these will be fully discounted and you will not need to pay these.
April 1, 2020: You will need to pay for any incurred external IP-related charges shown on your invoice.

其實整體成本應該是還好，但看到漲價總是不開心... XD

Mac 上讓 SSH 走 Socks5 的方式

在泰國住的飯店提供頗快的網路：

不過到 HiNet 看起來應該是有繞到美國之類的地區？

gslin@Gea-Suans-MacBook-Pro [~] [08:16/W4] mtr --report 168.95.1.1
Start: 2019-04-07T08:16:33+0700
HOST: Gea-Suans-MacBook-Pro.local Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 10.10.20.1                 0.0%    10    1.8   2.0   1.3   3.1   0.6
  2.|-- node-iyp.pool-101-108.dyn  0.0%    10    3.9   3.6   2.7   4.5   0.6
  3.|-- 172.17.36.105              0.0%    10    3.2   4.1   3.2   8.3   1.5
  4.|-- 203.113.44.205             0.0%    10    6.5   5.3   3.9   6.7   1.0
  5.|-- 203.113.44.177             0.0%    10    5.4   4.8   4.0   7.2   1.0
  6.|-- 203.113.37.194             0.0%    10    4.6   6.5   3.0  11.1   2.5
  7.|-- in-addr.net                0.0%    10    3.9   4.4   3.1   5.6   0.8
  8.|-- ???                       100.0    10    0.0   0.0   0.0   0.0   0.0
  9.|-- pcpd-4001.hinet.net        0.0%    10  355.4 356.9 355.1 365.4   3.0
 10.|-- pcpd-3212.hinet.net        0.0%    10  215.6 216.6 214.2 225.4   3.4
 11.|-- tpdt-3022.hinet.net        0.0%    10  219.4 215.9 214.0 221.5   2.5
 12.|-- tpdt-3012.hinet.net        0.0%    10  218.9 217.2 215.0 218.9   1.4
 13.|-- tpdb-3311.hinet.net        0.0%    10  212.5 212.9 211.9 214.1   0.6
 14.|-- 210-59-204-229.hinet-ip.h  0.0%    10  213.5 212.7 212.0 213.7   0.6
 15.|-- dns.hinet.net              0.0%    10  214.4 214.5 213.7 216.0   0.7

這樣有些影音服務只吃台灣 IP 就沒辦法用了，所以就得找方法來解決... 想法是透過我在 GCP 上開的機器繞回 HiNet，所以就得找 Mac 上 SSH 要怎麼設定 Socks5。

本來以為要用 tsocks 之類的工具 (i.e. 用 LD_PRELOAD 處理 connect())，但意外的在「SSH through a SOCKS Proxy? (client = OpenSSH OS X)」這邊看到可以用內建的 nc 處理，因為 nc 有支援 Socks5。

所以就變成兩包 ssh 指令：

ssh -D 1081 gcp.server
ssh -D 1080 -o "ProxyCommand nc -X 5 -x 127.0.0.1:1081 %h %p" hinet.server

然後 127.0.0.1:1080 就是打通的版本了，可以讓瀏覽器直接掛上去使用。

至於後來想起來不需要用 Socks5，可以用 ssh -L 而笑出來又是另外一件事情了 :o

JPMorgan Chase 的 WePay 用的 MySQL 架構

看到「Highly Available MySQL Clusters at WePay」這篇講 WePay 用 MySQL 的設計，本來以為是 WeChat 的服務，仔細看查了之後發現原來是 JPMorgan Chase 的服務...

架構在 GCP 上面，本來的 MySQL 是使用 MHA + HAProxy (patch 過的版本，允許動態改變 pool)，然後用 Routes 處理 HAProxy 的 failover。

他們遇到的問題是 crash failover 需要至少 30 分鐘的切換時間，另外就是在 GCP 上面跨區時會有的 network partition 問題...

後續架構變得更複雜，讓人懷疑真的有解決問題嗎 XDDD

改用 GitHub 推出的 Orchestrator 架構，然後用兩層 HAProxy 導流 (一層放在 client side，另外一層是原來架構裡面的 load balancer)，在加上用 Consul 更新 HAProxy 的資訊？

思考為什麼會有這樣設計 (考慮到金融體系的背景)，其實還蠻有趣的...

Google 的 Cloud SQL 總算能藏到內部網路了...

Google 總算提供把 Cloud SQL 放進內部網路的選項了，雖然目前還是 beta 版本在測試：「Introducing private networking connection for Cloud SQL」。

透過 VPC peering 把自己的網路與 Cloud SQL 的網路接起來，就不需要有 Public Endpoint，於是就有更低的 latency 與更好的安全性。

GCP 的 f1-micro 的使用心得...

這幾天在弄備援跳板機，不想弄在日本 (latency)，所以就想到 Google Cloud Platform (GCP) 在台灣有機房，而 Compute Engine 有 f1-micro，類似 AWS 裡 EC2 提供的 t2.nano 的機器。而這兩天玩了玩，大概有些事情值得記錄起來。

CPU 相關的部份：

  • EC2 的 t2 系列可以透過 API 或是在 web console 看到 CPU credit 剩下多少，GCE 沒找到在哪邊可以看。
  • EC2 的 t2 系列在 CPU credit 用完後是變慢運行，除非你打開 T2 Unlimited 同意 AWS 多收錢。而 GCE 的則是沒得選，相當於一定要開 T2 Unlimited。
  • GCE 的 f1-micro 是 0.2 vCPU，但我在上面跑 Ubuntu 18.04，平常沒事就已經是 15% 左右。這數字比預期的高不少，還在找是什麼原因...

網路相關的部份：

  • 因為要用台灣的機房，網路的部份只有 Premium 等級可以選 (Standard 等級目前只在美國有)，也就是會先走 Google 佈建的網路再出去，所以流出的費用會隨著 destination 地區而有差異 (i.e. 封包送到美國與送到中國是不同計價)。
  • 但 Premium 等級實測品質真的很不一樣，到香港居然在 15ms 以下，以前在固網機房內沒看過這個數字...

其他的部份：

  • 硬碟空間方面，Standard provisioned space 比 EBS 的 gp2 便宜不少，而且還包括了 i/o 費用 (AWS 會另外收費)。
  • 連續使用就會有 discount 了，也可以 commit 買一年或是三年取得更深的 discount。而 AWS 則是得買 Reserved Instance 拿到 discount。

來看看一個月會有多少帳單產生吧...

Bitmain 推出 AI chip

Bitmain 在 Bitcoin ASIC 市場上算是很有名的，就利用作 ASIC 的經驗推出自己的 AI chip 了：「Bitcoin’s Biggest Tech Player to Release AI Chips and Computers」。

這樣除了可以在雲端上租用 Google Cloud Platform 的 Cloud TPU 以外，也可以自己買硬體來算了 (雖然軟體的支援應該還要再等)：「Tensor Computing Processor BM1680」。

Google Cloud Platform 的 DLP API

在「New ways to manage sensitive data with the Data Loss Prevention API」這邊提到三月的時候就推出了 DLP API (在「Discover and redact sensitive data with the Data Loss Prevention API」這邊提到的)，不過沒什麼印象：

The Data Loss Prevention (DLP) API, which went beta in March, can help you quickly find and protect over 50 types of sensitive data such as credit card numbers, names and national ID numbers.

這次看了一下範例，可以直接對圖片上面分析：

先記起來，看起來之後應該有機會用到？(像是分析使用者上傳的圖片)

KeyCDN 的台灣 PoP...

在 GCP 推出 Standard Tier 後，KeyCDN 就利用台灣的 GCP 機房建立了 PoP：「KeyCDN Launches New POP in Taiwan」。

GCP 在台灣的 Standard Tier 價錢是：

Source geolocation of traffic 0-10 TB 10-150 TB 150-500 TB
From Asia $0.11 $0.075 $0.07

KeyCDN 亞洲區頻寬的價錢則是 USD$0.12/GB，加上機器費用，有機會不虧？