s3 – Gea-Suan Lin's BLOG

Amazon S3 對於錯誤處理的幾個改變

這幾個連續的改變可以一起看，應該是 Amazon S3 團隊在 review 同一包東西時一併做出來的。

首先是五月的時候有寫到的「Amazon S3 改變 403 的收費方式」，當時的其中一個公告在這邊：「Amazon S3 will no longer charge for several HTTP error codes」，主要就是針對非自己帳號的 Amazon S3 不再收費，然後這幾天公告總算是全部改完了：「Amazon S3 no longer charges for several HTTP error codes」。

後續是針對自己帳號產生的 403 會提供更多細節資訊，這樣可以讓找問題的過程更容易：「Amazon S3 adds additional context to HTTP 403 Access Denied error messages」。

Amazon S3 now includes additional context in HTTP 403 Access Denied errors for requests made to resources within the same AWS account.

This new context includes the type of policy that denied access, the reason for denial, and information on the AWS IAM user or role that requested access to the resource.

不過看起來過去將近二十年的吃進去不會吐出來就是了...

這算是一連串的故事，首先是四月底的時候「How an empty S3 bucket can make your AWS bill explode」這篇，提到了他一個晚上收到了 US$1,300 的帳單，因為有人 (沒有權限的人) 對他的 S3 bucket 狂打了 100M requests (一億筆)，雖然都是 403 的 access denied，但還是得付 request 與頻寬的費用。

對於想要搞的人來說，us-east-1 的 Amazon S3 費用是 $0.005/1K requests (PUT, COPY, POST, LIST requests)，換算大一點的單位是 $5/1M requests，拿個 ab 之類的工具超級簡單就可以打出破千 reqs/sec，如果是 k6 之類的工具，其實一台電腦就蠻容易打爆？

作者聯絡 AWS 客服後，客服回答你需要付這筆費用 (「這不是 bug，是 feature」)：

Yes, S3 charges for unauthorized requests (4xx) as well[1]. That’s expected behavior.

然後這件事情就在社群傳開了，傳到 Jeff Barr 後直接公開提到他認為客戶不應該付 unauthorized request 的 cost (應該是先跟內部其他高層討論過了)，等於是宣佈了會改掉：

Thank you to everyone who brought this article to our attention. We agree that customers should not have to pay for unauthorized requests that they did not initiate. We’ll have more to share on exactly how we’ll help prevent these charges shortly.#AWS #S3

How an empty S3…

— Jeff Barr ☁️ (@jeffbarr) April 30, 2024

不過這件事情之前應該就有人提過了，結果 Colin Percival 直接戳，他在 2006 年 Amazon S3 剛出來的時候就提過了：

For the record, I pointed out this issue to the Amazon S3 team in 2006. They recommended keeping my S3 bucket names secret. https://t.co/P4jTYkAE7S

— Colin Percival (@cperciva) April 30, 2024

Anyway，兩個禮拜過去後，剛剛看到宣佈收費方式修改：「Amazon S3 will no longer charge for several HTTP error codes」。

針對從不屬於自己帳號所產生的 403 不收費 (包括 request 與頻寬費用)：

With this change, bucket owners will never incur request or bandwidth charges for requests that return an HTTP 403 (Access Denied) error response if initiated from outside their individual AWS account or AWS Organization.

然後多了一頁「Billing for Amazon S3 error responses」專門說明這件事情，這邊列的比較完整，除了 403 以外也包含了其他的 HTTP response code 是不收費的：

The current page shows a full list of HTTP 3XX and 4XX status codes that won't be billed.

補了一個 18 年的洞...

找出任意 S3 bucket 對應的 AWS Account ID

在 Hacker News 上看到「How to find the AWS account ID of any S3 bucket (tracebit.com)」這篇，作者利用不同的額外條件，讓 S3 bucket 產生不同的 response，進而取得 AWS 的 Account ID。

首先是先確定 S3 bucket 在哪一區，這個部分比較簡單，即使是 denied response 也會附上 x-amz-bucket-region 這個資訊。

接下來是在對應的區域建立 VPC 以及 VPC Endpoint for S3，接著準備一台 EC2 instance 確認是否透過 VPC Endpoint for S3 存取 Amazon S3 的資料。

接下來的重點就在「Modify the VPC Endpoint policy to determine whether the account ID of the target bucket starts with "0"」這段了，建立一個 policy，限制只能存取 Account ID 是 0* 的 S3 bucket：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": "s3:*",
            "Effect": "Allow",
            "Resource": "*",
            "Principal": "*",
            "Condition": {
                "StringLike": {
                    "s3:ResourceAccount": "0*"
                }
            }
        }
    ]
}

然後發 request 去要檔案，理論上在 command line 這邊都會收到 denied 的訊息，但在 CloudTrail 裡面會有兩種不同的情境，如果 CloudTrail 裡面有這筆記錄，表示 Account ID 是 0*；如果沒有的話，表示 Account ID 不是 0*：

If we find our request in CloudTrail, it means that the VPC Endpoint policy permitted the request - i.e. the Account ID of the bucket starts with 0. If we don't find the request, then the VPC Endpoint policy blocked the request - i.e. the Account ID of the bucket does not start with 0.

有了這個破口後，後續的事情就可以自動化了，平行測試以及二分搜尋法拿出來用就可以加速進行。

而 AWS 的 Account ID 雖然不是敏感資訊，但能挖出來還是頗... 有趣的？

聊了一下 Amazon S3 Express One Zone 的用途...

昨天寫了「AWS 推出 Amazon S3 Express One Zone」這篇，剛好跟朋友聊了一下 Amazon S3 Express One Zone 的用途...

首先 Amazon S3 Express One Zone 這個產品的定位會是有多台機器需要存取同一包資料：如果是同一台機器要存取的話，放到 Amazon EBS 甚至是 local disk 上就好了。

另外可以知道 Amazon S3 Express One Zone 主要的服務對象不會是靜態資料：靜態資料可以先把所有的資料打包成一大包，丟到標準的 Amazon S3 上面跑，讓每一台機器下載下來，這樣 latency 的影響也會小很多。

所以可以抓到產品的定位：會是有很多機器需要存取同一包資料，而且這包資料會不斷更新。

但畢竟 Amazon S3 Express One Zone 還是要走 HTTPS 去跟 server 要資料，如果你在本地端使用 EBS 或是 local disk，latency 一定還是比較低；而且就程式的開發來說，比較直覺的方法還是在本地端直接弄一個 ext4 filesystem，然後跑很多 process 處理。

(而且這樣還有使用記憶體做的 filesystem cache，加上 EBS 的儲存費用還比 Amazon S3 Express One Zone 便宜)

所以 Amazon S3 Express One Zone 的定位又再被縮小到一台 EC2 instance 沒辦法完成上一段提到的情境。

如果再把前幾天新推出的機器拿來看：「AWS 推出 32TB RAM 的機種 u7in-32tb.224xlarge」，這台新機器是 896 vCPU + 32TB RAM，代表你每跑 896 個 process (假設程式還沒用 threading 打散)，而每個 process 可以吃 36GB RAM...

算過以後就會發現，這是個 scale up 可以暴力解很多問題的年代，只要你的演算法不是 $n^2$ 這類的 case...

但回到這個產品的定位，從上面的推敲可以找出還是有對應的需求方，而且知道這是一個比較小眾的產品線，但遇到這種問題的人都會是大型客戶，這樣去思考為什麼會推出 Amazon S3 Express One Zone 就合理多了。

AWS 推出 Amazon S3 Express One Zone

AWS 推出了以效能為導向的 Amazon S3 Express One Zone：「Announcing the new Amazon S3 Express One Zone high performance storage class」。

從名字裡的 One Zone 可以看到這是只有在一個 AZ，主打超低 latency：

The new Amazon S3 Express One Zone storage class is designed to deliver up to 10x better performance than the S3 Standard storage class while handling hundreds of thousands of requests per second with consistent single-digit millisecond latency, making it a great fit for your most frequently accessed data and your most demanding applications.

但費用相當貴，以 us-east-1 來看的話是 $0.16/GB/mo，如果拿其他一些 storage 方案來比，可以看到非常大的差距：

S3 Standard：$0.023/GB/mo
General Purpose SSD (gp3)：$0.08/GB/mo
General Purpose SSD (gp2)：$0.1/GB/mo

可以猜測後面應該全是 NVM 之類的 storage (不過文章裡沒有提到)。

這次的 Amazon S3 Express One Zone 也多出了很多特別的限制。

首先是新的 bucket type，在這個 bucket type 下面 ListObjectsV2 呼叫就必須以 / 結尾 (這暗示後面的資料處理有對這點 optimization)，另外傳回的資料不保證順序了：

The path delimiter must be “/“, and any prefixes that you supply to ListObjectsV2 must end with a delimiter. Also, list operations return results without first sorting them, so you cannot do a “start after” retrieval.

另外看起來是在 AZ 裡面直接認證，所以有新的 authentication model：

The new CreateSession function returns a session token that grants access to a specific bucket for five minutes.

然後 bucket naming 因為有後處理，在命名上不需要在整個 AWS 是唯一的 (因為被加料了)：

Directory bucket names must be unique within their AWS Region, and must specify an Availability Zone ID in a specially formed suffix. If my base bucket name is jbarr and it exists in Availability Zone use1-az5 (Availability Zone 5 in the US East (N. Virginia) Region) the name that I supply to CreateBucket would be jbarr--use1-az5--x-s3.

另外資料還是可以在同一個 region 下跨 AZ 存取，而且同一個 region 下面的 compute resources (像是 EC2) 不收傳輸費用：

Although the bucket exists within a specific Availability Zone, it is accessible from the other zones in the region, and there are no data transfer charges for requests from compute resources in one Availability Zone to directory buckets in another one in the same region.

費用的部分還有個比較特別的但書，超過 512KB 的 request 會需要額外收費：

You pay an additional per-GB fee for the portion of any request that exceeds 512 KB. For more information, see the Amazon S3 Pricing page.

主要是給自己開發的應用程式用的，現有的 framework 大多都有利用 batch & buffering 的技巧降低 latency 所帶來的效能影響。

平常應該是用不太到，但就有個印象，真的在架構設計上跑不掉的時候有個選擇...

Mountpoint for Amazon S3 正式推出 (GA) 了...

三月的時候提到 AWS 搞出了自己的 Amazon S3 的 FUSE 實作：「AWS 官方推出了自己的 Amazon S3 FUSE 套件」，現在 GA 了：「Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads」。

看起來 s3fs-fuse 還是一直有在更新，然後翻了翻好像沒看到兩者的比較... (可能是之前 Mountpoint for Amazon S3 在 alpha 版的關係？)

記得這個功能拿來塞些東西還蠻好用的...

Amazon S3 的新數字

Werner Vogels 寫了一篇在回憶 Amazon S3 的文章：「Building and operating a pretty big storage system called S3」，裡面有個是他這個層級比較容易取得公開權限的資料：

有標注「S3 by the numbers (as of publishing this post).」，所以是 2023 年七月現在的數字。

雖然很明顯的還是避開談總大小，但有提供目前的 S3 object 數量是 280 兆，以及 request 量是每秒 1 億次。

搭配之前公開過的數字 (出自維基百科上的「Amazon S3」條目)，上次公佈是在 2021 年三月的時候宣布超過 100 兆，所以過了兩年的時間已經到 280 兆了：

Amazon Web Services introduced Amazon S3 in 2006. Amazon reported it stored more than 100 trillion objects as of March 2021, up from 10 billion objects in October 2007, 14 billion objects in January 2008, 29 billion objects in October 2008, 52 billion objects in March 2009, 64 billion objects in August 2009, 102 billion objects in March 2010, and 2 trillion objects in April 2013.

AWS 官方推出了自己的 Amazon S3 FUSE 套件

看到「Mountpoint for Amazon S3」這個專案，AWS 自己推出了自己的 Amazon S3 FUSE 套件。Hacker News 上也有一些討論：「Mountpoint – file client for S3 written in Rust, from AWS (github.com/awslabs)」。

Amazon S3 的價錢比其他 AWS 提供的 storage 都便宜不少。以美東第一區 us-east-1 來說，S3 是 $0.023/GB，而 EBS (gp3) 要 $0.08/GB，即使是 EBS (st1) 也要 $0.045/GB。

S3 相較於 EBS 來說，多了 API call 的費用，所以對於不會產生大量 API call 的應用來說 (像是常常會寫很大包的資料到檔案裡)，透過 FUSE 操作 Amazon S3 可以讓現有的套裝軟體或是程式直接跑上去。

另外一個常見的應用是讓套裝軟體或是現成的程式可以讀取 S3 的資料。

之前這類應用馬上會想到的專案是 s3fs-fuse，這個專案很久了，大家也都知道多人寫入的部份會是痛點。

這次 AWS 自己出來做的事情有點重工，看起來他想做的事情 s3fs-fuse 都解的差不多了，目前看起來唯一的賣點應該只有 Rust-based，但 s3fs-fuse 主要是 C++，其實也沒差到哪裡：

Mountpoint for Amazon S3 is optimized for read-heavy workloads that need high throughput. It intentionally does not implement the full POSIX specification for file systems.

目前專案還是 alpha release，不確定專案的方向到底是什麼...

AWS DataSync 支援 GCP 與 Azure 上的 Storage 上的資料了

AWS DataSync 宣佈支援 GCP 與 Azure 上的 Storage 了：「New for AWS DataSync – Move Data Between AWS and Other Public Locations」，比較特別的是，文章的 URL 有提到這兩家的產品，但在標題上反而就沒提到...

這測的重點就是支援 Google Cloud 與 Microsoft Azure 的 object storage 產品：

Today, we added to DataSync the capability to migrate data between AWS Storage services and either Google Cloud Storage or Microsoft Azure Files.

之前大家都是自己開機器手動搬，現在可以直接付錢 (依照 GB 計費) 用服務搬了，不過要注意網路頻寬的流出部份還是有費用...

Amazon S3 支援 MD5 以外的檢查演算法了

Amazon S3 宣佈支援 MD5 以外的檢查演算法了：「New – Additional Checksum Algorithms for Amazon S3」。

多支援了 SHA-1、SHA-256 以及 CRC-32 與 CRC-32C：

In particular, you can specify the use of any one of four widely used checksum algorithms (SHA-1, SHA-256, CRC-32, and CRC-32C) when you upload each of your objects to S3.

雖然有拿 cryptographic hash function 來用，但其實是當作 checksum algorithm 在用，拿來檢查檔案正確性的，而不是防中間被竄改之類 (這個部份是靠 HTTPS)，本來支援的 MD5 應該算是夠用，只是現在多了不少選擇。

然後全商用區都可以用了：

The four additional checksums are now available in all commercial AWS Regions and you can start using them today at no extra charge.