aws – Gea-Suan Lin's BLOG

Elasticsearch 打算要回來提供 AGPL 授權

在「Elasticsearch is open source, again (elastic.co)」這邊看到的，Elasticsearch 目前是自家的 ELv2 以及 SSPL 授權，現在打算要提供 AGPL 授權了：「Elasticsearch is Open Source, Again」。

不過應該也不會回去用了，之前 Elastic 的大小動作太多，像是直接在新版 client SDK 上擋掉所有不是 Elasticsearch 的伺服器端 (所以 OpenSearch 就被擋了)：「Elasticsearch error "The client noticed that the server is not Elasticsearch and we do not support this unknown product"」。

既然 OpenSearch 堪用就繼續用？反正在雲上面大多也都不是自己架，而是用現成的。

另外這幾年 PostgreSQL 上面做 fulltext search 的套件愈來愈多，也是個常用的方案？(量大的時候 read replica 拆出去就不太會影響到 main DB 效能)

AWS 搞 OpenSearch 看起來證明了換 license 對這些大公司沒什麼用，這些大公司有的是錢跟人可以 fork 出來自己搞... 所以想要一開始沾 open source 的名字不如一開始就用 AGPL？

AWS KMS 支援 ECDH

看到「Announcing AWS KMS Elliptic Curve Diffie-Hellman (ECDH) support」這篇的介紹，AWS KMS 支援 ECDH 了。

從 AWS 的文件「DeriveSharedSecret」這邊可以看到就是在不將 private key 暴露出來的情況下得到 ECDH 產生的 shared secret：

The private key in your KMS key pair never leaves AWS KMS unencrypted. DeriveSharedSecret returns the raw shared secret.

翻了一下其他兩個雲的 Cloud HSM 類服務，好像沒有看到 ECDH 的，不過如果是實際硬體 HSM 的話，Azure Dedicated HSM 似乎有支援，可以在 FAQ 這邊看到：

Dedicated HSM service provisions Thales Luna 7 HSM appliances.

Cryptography (ECDSA, ECDH, Ed25519, ECIES) with named, user-defined, and Brainpool curves, KCDSA

AWS KMS 畢竟是軟體基底的，要支援什麼演算法可以直接加...

Amazon S3 對於錯誤處理的幾個改變

這幾個連續的改變可以一起看，應該是 Amazon S3 團隊在 review 同一包東西時一併做出來的。

首先是五月的時候有寫到的「Amazon S3 改變 403 的收費方式」，當時的其中一個公告在這邊：「Amazon S3 will no longer charge for several HTTP error codes」，主要就是針對非自己帳號的 Amazon S3 不再收費，然後這幾天公告總算是全部改完了：「Amazon S3 no longer charges for several HTTP error codes」。

後續是針對自己帳號產生的 403 會提供更多細節資訊，這樣可以讓找問題的過程更容易：「Amazon S3 adds additional context to HTTP 403 Access Denied error messages」。

Amazon S3 now includes additional context in HTTP 403 Access Denied errors for requests made to resources within the same AWS account.

This new context includes the type of policy that denied access, the reason for denial, and information on the AWS IAM user or role that requested access to the resource.

不過看起來過去將近二十年的吃進去不會吐出來就是了...

AWS 的 VPC 可以設定 Private IPv6 address 了

AWS 的 VPC 以前都只能設定 public IPv6 address，現在總算是可以設定 private IPv6 address 了：「AWS announces private IPv6 addressing for VPCs and subnets」，另外一篇講的比較詳細：「Understanding IPv6 addressing on AWS and designing a scalable addressing plan」。

IPv6 address 的熟悉度沒有 IPv4 address 高... 看起來 AWS 所提到的 private 包括了 GUA 與 ULA：

Private IPv6 addresses on AWS can include ULA, which are intended for local communication, and private GUA, which could be globally routable according to protocol definition.

GUA 好像是就是拿 public ip 區段用 (反正 IPv6 區段夠大)？反而是 ULA 這邊用的 fd00::/8 跟以前 IPv4 的 private range 剛好相對應，比較好理解...

Meta 的 Llama 3.1

Meta 發佈了 Llama 3.1：「Introducing Llama 3.1: Our most capable models to date」，這本來就只是個發佈而已，但讓我注意到的是 AWS 與 GCP 都同時宣佈在雲端上支援 Llama 3.1 了：

這代表 Meta 在 Llama 3.1 發表前就先跟 AWS & GCP 合作了，這看起來是一個包圍 OpenAI (以及微軟) 的姿態，之前好像沒看到這樣？(單純印象...)

Amazon DocumentDB (with MongoDB compatibility) 支援壓縮

看到「Amazon DocumentDB announces improvements to document compression」這則公告提到 Amazon DocumentDB 5.0 支援壓縮了：

These compression benefits are now supported in Amazon DocumentDB 5.0 instance-based clusters in all regions where Amazon DocumentDB is available.

官方宣稱可以壓七倍：

Compressed documents in Amazon DocumentDB can be up to 7 times smaller than uncompressed documents, leading to lower storage costs, I/O costs, and improved query performance.

在「Managing collection-level document compression」這份文件裡面則是提到演算法是 LZ4：

Amazon DocumentDB uses the LZ4 compression algorithm to compress documents.

因為大家都猜 DocumentDB 後面是 PostgreSQL，所以我就查了一下 PostgreSQL 這邊的資料，可以從 PostgreSQL 14.0 (2021/09/30) 的 Release Notes 看到支援 LZ4：

Add ability to use LZ4 compression on TOAST data (Dilip Kumar)

This can be set at the column level, or set as a default via server parameter default_toast_compression. The server must be compiled with --with-lz4 to support this feature. The default setting is still pglz.

而 DocumentDB 則是 2019 年一月的時候出的，大概是 DocumentDB 5.0 用到的 PostgreSQL 比較新所以可以支援了...

Amazon EC2 推出 Graviton4 的機種 r8g.*

Amazon EC2 推出了 Graviton4 的新機種：「AWS Graviton4-based Amazon EC2 R8g instances: best price performance in Amazon EC2」。

第一波 Graviton4 的機種是 R 系列的機器，r8g.*，依照官方說法有機會到 30% 的效能提升：

AWS Graviton4-based Amazon EC2 R8g instances deliver up to 30% better performance than AWS Graviton3-based Amazon EC2 R7g instances.

價錢的部分翻了一下，貴了 10% 左右。另外機器大小上限也有改變，之前 r7g.metal 是 64 vCPU + 512GB RAM，這次 r8g.metal-24xl 是 96 vCPU + 768GB RAM，另外還有 r8g.metal-48xl 的 192 vCPU + 1536GB RAM 的版本，上限拉到原來的三倍。

話說 t4g 還是 Graviton2 的機種呢，什麼時候有機會用到 t5g 呢...