Tag: platform

Mac 上讓 SSH 走 Socks5 的方式

在泰國住的飯店提供頗快的網路：

不過到 HiNet 看起來應該是有繞到美國之類的地區？

gslin@Gea-Suans-MacBook-Pro [~] [08:16/W4] mtr --report 168.95.1.1
Start: 2019-04-07T08:16:33+0700
HOST: Gea-Suans-MacBook-Pro.local Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 10.10.20.1                 0.0%    10    1.8   2.0   1.3   3.1   0.6
  2.|-- node-iyp.pool-101-108.dyn  0.0%    10    3.9   3.6   2.7   4.5   0.6
  3.|-- 172.17.36.105              0.0%    10    3.2   4.1   3.2   8.3   1.5
  4.|-- 203.113.44.205             0.0%    10    6.5   5.3   3.9   6.7   1.0
  5.|-- 203.113.44.177             0.0%    10    5.4   4.8   4.0   7.2   1.0
  6.|-- 203.113.37.194             0.0%    10    4.6   6.5   3.0  11.1   2.5
  7.|-- in-addr.net                0.0%    10    3.9   4.4   3.1   5.6   0.8
  8.|-- ???                       100.0    10    0.0   0.0   0.0   0.0   0.0
  9.|-- pcpd-4001.hinet.net        0.0%    10  355.4 356.9 355.1 365.4   3.0
 10.|-- pcpd-3212.hinet.net        0.0%    10  215.6 216.6 214.2 225.4   3.4
 11.|-- tpdt-3022.hinet.net        0.0%    10  219.4 215.9 214.0 221.5   2.5
 12.|-- tpdt-3012.hinet.net        0.0%    10  218.9 217.2 215.0 218.9   1.4
 13.|-- tpdb-3311.hinet.net        0.0%    10  212.5 212.9 211.9 214.1   0.6
 14.|-- 210-59-204-229.hinet-ip.h  0.0%    10  213.5 212.7 212.0 213.7   0.6
 15.|-- dns.hinet.net              0.0%    10  214.4 214.5 213.7 216.0   0.7

這樣有些影音服務只吃台灣 IP 就沒辦法用了，所以就得找方法來解決... 想法是透過我在 GCP 上開的機器繞回 HiNet，所以就得找 Mac 上 SSH 要怎麼設定 Socks5。

本來以為要用 tsocks 之類的工具 (i.e. 用 LD_PRELOAD 處理 connect())，但意外的在「SSH through a SOCKS Proxy? (client = OpenSSH OS X)」這邊看到可以用內建的 nc 處理，因為 nc 有支援 Socks5。

所以就變成兩包 ssh 指令：

ssh -D 1081 gcp.server
ssh -D 1080 -o "ProxyCommand nc -X 5 -x 127.0.0.1:1081 %h %p" hinet.server

然後 127.0.0.1:1080 就是打通的版本了，可以讓瀏覽器直接掛上去使用。

至於後來想起來不需要用 Socks5，可以用 ssh -L 而笑出來又是另外一件事情了 :o

Algolia 從 Heroku 搬到 GKE 的故事

Algolia 是一個搜尋引擎服務，他可以幫你 index 資料後，你直接 query 他取得結果。

在這篇文章裡 Algolia 決定從 Heroku 搬到 GKE：「The Challenging Migration from Heroku to Google Kubernetes Engine」。

在文章只單純就產品與技術面上的需求在討論，像是一開始討論 IP 白名單的問題：

A good example of this complexity is with IP Whitelisting. One of our customers wanted us to crawl from a fixed IP address so that they could whitelist that IP for high-rate crawling without being throttled by their load balancer. Only two engineers were developing the crawler, so we asked other colleagues to set up an HTTP proxy with a fixed IP address. Yet, as the number of customers grew, many more started asking for the same thing, and our infrastructure team told us it was time for us to take care of it ourselves.

不過我更想知道搬過去後的各類成本差異... 省了多少平台費用，以及多少維護人力的差異，不過看起來沒提到 XD

JPMorgan Chase 的 WePay 用的 MySQL 架構

看到「Highly Available MySQL Clusters at WePay」這篇講 WePay 用 MySQL 的設計，本來以為是 WeChat 的服務，仔細看查了之後發現原來是 JPMorgan Chase 的服務...

架構在 GCP 上面，本來的 MySQL 是使用 MHA + HAProxy (patch 過的版本，允許動態改變 pool)，然後用 Routes 處理 HAProxy 的 failover。

他們遇到的問題是 crash failover 需要至少 30 分鐘的切換時間，另外就是在 GCP 上面跨區時會有的 network partition 問題...

後續架構變得更複雜，讓人懷疑真的有解決問題嗎 XDDD

改用 GitHub 推出的 Orchestrator 架構，然後用兩層 HAProxy 導流 (一層放在 client side，另外一層是原來架構裡面的 load balancer)，在加上用 Consul 更新 HAProxy 的資訊？

思考為什麼會有這樣設計 (考慮到金融體系的背景)，其實還蠻有趣的...

Twitter 搬上 Google Cloud

Twitter 要搬上 Google Cloud Platform 了，而 Google 直接把這個消息用最漂亮的 url 發佈：「Twitter migrates data to Google Cloud to keep the world tweeting」。

裡面也提到了一些數字，像是 Twitter 使用的空間：

To keep processing massive amounts of data 24/7, the social media platform was expecting to transfer over 300 petabytes of data storage to the cloud.

另外實際用 mtr 跑，看起來 twitter.com 前面還是 Twitter 自家機房的 proxy，所以應該是後面的架構搬上去？

批評 Medium 不適合當作 Blogging Platform...

這篇文章批評了 Medium 不適合當作 Blogging Platform：「Medium is a poor choice for blogging」。

文章裡提到的情況我之前也常遇到 (然後默默的點 X 關掉...)，我是還蠻建議把 [*.]medium.com 放到 Google Chrome 的 javascript 禁止清單裡面，這樣畫面會乾淨很多，而且也省很多 CPU 資源...

不過自訂網域的部分就沒辦法用這個方式擋了，有點可惜...

GCP 推出 Cloud HSM (beta)

這算是 Google Cloud Platform 在補產品線，讓那些有強制使用 HSM 的需求的應用 (通常是遇到一定要 FIPS 140-2 的規範) 可以搬上雲端：「Introducing Cloud HSM beta for hardware crypto key security」。

從圖片上可以看到 LiquidSecurity，應該是「LiquidSecurity® General Purpose HSM Adapters and Appliances」這個產品：

如同 AWS 的 CloudHSM 服務，GCP 的 Cloud HSM 也是提供 FIPS 140-2 Level 3：

Cloud HSM allows you to host encryption keys and perform cryptographic operations in FIPS 140-2 Level 3 certified HSMs (shown below).

演算法上，支援 AES、RSA 與 ECC (NIST 的 P-256 與 P-384)：

In addition to symmetric key encryption using AES-256 keys, you can now create various types of asymmetric keys for decryption or signing operations, which means that you can now store your keys used for PKI or code signing in a Google Cloud managed keystore. Specifically, RSA 2048, RSA 3072, RSA 4096, EC P256, and EC P384 keys will be available for signing operations, while RSA 2048, RSA 3072, and RSA 4096 keys will also have the ability to decrypt blocks of data.

目前只支援 us-east1 與 us-west1，另外價錢也比軟體服務版本的 Cloud KMS 貴不少：

Billable item For keys with protection level SOFTWARE For keys with protection level HSM
Active AES-256 and RSA 2048 key versions $0.06 per month $1.00 per month
Active RSA 3072, RSA 4096 or Elliptic Curve key versions $0.06 per month $2.50 per month for the first 2,000
$1.00 per month thereafter
Destroyed key versions Free Free
Key operations: Cryptographic $0.03 per 10,000 operations $0.03 per 10,000 operations for AES-256 and RSA 2048 keys
$0.15 per 10,000 operations for RSA 3072, RSA 4096, and Elliptic Curve keys
Key operations: Admin Free Free

不過一般情況應該不會得用 CloudHSM，先有個印象就好...

沒有 Google 專屬套件的 Android

剛剛在「How to Android without Google」這邊的文章裡看到「How to Android without Google [easy way]」這篇指南，說明如何弄出一個沒有 Google 專屬套件的 Android 環境。

主要是 LineageOS 當作底層基礎 (作業系統)，然後用 microG 提供 API 相容層，並且用 F-Droid 安裝 Open Source 軟體。

裡面有兩個方案以前沒看過，一個是 XPosedFramework，提供框架讓使用者有更強的控制力，更完整的說明可以參考「Xposed Framework + App Settings 為每個 App 設定不同的運行模式」這篇。

另外一個是 Yalp Store，當軟體只在 Google Play 平台上提供安裝的時候，就需要透過這個套件了 XD

NAVER CLOUD PLATFORM

在「HashiCorp Packer 1.2.0」這篇看到的雲端平台：

New builder: ncloud for building server images using the NAVER Cloud Platform.

NAVER 是 Line 母公司，這是他們推出的雲端平台，看起來相似的產品是 AWS。在 https://www.ncloud.com/charge/region 這邊可以看到提供了韓國、美國、新加坡、香港、日本與德國，可以看出因為是韓國公司，擴了不少亞洲的點...

找時間看一看好了，目前看起來 routing 好像還不錯？

Google Cloud Platform 要開大阪區的消息...

Google Cloud Platform 放出要開大阪區的消息：「GCP is building its second Japanese region in Osaka」。

AWS 在去年年中的時候也有類似的消息，不過還沒看到後續的公告：「AWS 在 2018 年要開大阪區」。

東京區的成長都這麼快嗎... 還是大阪會比較便宜？