Tag: storage

聊了一下 Amazon S3 Express One Zone 的用途...

昨天寫了「AWS 推出 Amazon S3 Express One Zone」這篇，剛好跟朋友聊了一下 Amazon S3 Express One Zone 的用途...

首先 Amazon S3 Express One Zone 這個產品的定位會是有多台機器需要存取同一包資料：如果是同一台機器要存取的話，放到 Amazon EBS 甚至是 local disk 上就好了。

另外可以知道 Amazon S3 Express One Zone 主要的服務對象不會是靜態資料：靜態資料可以先把所有的資料打包成一大包，丟到標準的 Amazon S3 上面跑，讓每一台機器下載下來，這樣 latency 的影響也會小很多。

所以可以抓到產品的定位：會是有很多機器需要存取同一包資料，而且這包資料會不斷更新。

但畢竟 Amazon S3 Express One Zone 還是要走 HTTPS 去跟 server 要資料，如果你在本地端使用 EBS 或是 local disk，latency 一定還是比較低；而且就程式的開發來說，比較直覺的方法還是在本地端直接弄一個 ext4 filesystem，然後跑很多 process 處理。

(而且這樣還有使用記憶體做的 filesystem cache，加上 EBS 的儲存費用還比 Amazon S3 Express One Zone 便宜)

所以 Amazon S3 Express One Zone 的定位又再被縮小到一台 EC2 instance 沒辦法完成上一段提到的情境。

如果再把前幾天新推出的機器拿來看：「AWS 推出 32TB RAM 的機種 u7in-32tb.224xlarge」，這台新機器是 896 vCPU + 32TB RAM，代表你每跑 896 個 process (假設程式還沒用 threading 打散)，而每個 process 可以吃 36GB RAM...

算過以後就會發現，這是個 scale up 可以暴力解很多問題的年代，只要你的演算法不是 n^2 這類的 case...

但回到這個產品的定位，從上面的推敲可以找出還是有對應的需求方，而且知道這是一個比較小眾的產品線，但遇到這種問題的人都會是大型客戶，這樣去思考為什麼會推出 Amazon S3 Express One Zone 就合理多了。

AWS 推出 Amazon S3 Express One Zone

AWS 推出了以效能為導向的 Amazon S3 Express One Zone：「Announcing the new Amazon S3 Express One Zone high performance storage class」。

從名字裡的 One Zone 可以看到這是只有在一個 AZ，主打超低 latency：

The new Amazon S3 Express One Zone storage class is designed to deliver up to 10x better performance than the S3 Standard storage class while handling hundreds of thousands of requests per second with consistent single-digit millisecond latency, making it a great fit for your most frequently accessed data and your most demanding applications.

但費用相當貴，以 us-east-1 來看的話是 $0.16/GB/mo，如果拿其他一些 storage 方案來比，可以看到非常大的差距：

  • S3 Standard：$0.023/GB/mo
  • General Purpose SSD (gp3)：$0.08/GB/mo
  • General Purpose SSD (gp2)：$0.1/GB/mo

可以猜測後面應該全是 NVM 之類的 storage (不過文章裡沒有提到)。

這次的 Amazon S3 Express One Zone 也多出了很多特別的限制。

首先是新的 bucket type，在這個 bucket type 下面 ListObjectsV2 呼叫就必須以 / 結尾 (這暗示後面的資料處理有對這點 optimization)，另外傳回的資料不保證順序了：

The path delimiter must be “/“, and any prefixes that you supply to ListObjectsV2 must end with a delimiter. Also, list operations return results without first sorting them, so you cannot do a “start after” retrieval.

另外看起來是在 AZ 裡面直接認證，所以有新的 authentication model：

The new CreateSession function returns a session token that grants access to a specific bucket for five minutes.

然後 bucket naming 因為有後處理，在命名上不需要在整個 AWS 是唯一的 (因為被加料了)：

Directory bucket names must be unique within their AWS Region, and must specify an Availability Zone ID in a specially formed suffix. If my base bucket name is jbarr and it exists in Availability Zone use1-az5 (Availability Zone 5 in the US East (N. Virginia) Region) the name that I supply to CreateBucket would be jbarr--use1-az5--x-s3.

另外資料還是可以在同一個 region 下跨 AZ 存取，而且同一個 region 下面的 compute resources (像是 EC2) 不收傳輸費用：

Although the bucket exists within a specific Availability Zone, it is accessible from the other zones in the region, and there are no data transfer charges for requests from compute resources in one Availability Zone to directory buckets in another one in the same region.

費用的部分還有個比較特別的但書，超過 512KB 的 request 會需要額外收費：

You pay an additional per-GB fee for the portion of any request that exceeds 512 KB. For more information, see the Amazon S3 Pricing page.

主要是給自己開發的應用程式用的，現有的 framework 大多都有利用 batch & buffering 的技巧降低 latency 所帶來的效能影響。

平常應該是用不太到，但就有個印象，真的在架構設計上跑不掉的時候有個選擇...

Amazon EFS 漲價，再推出給更「冷」的資料儲存的空間：Amazon EFS Archive

Amazon EFS 這次推出的是再多推出一個 storage class：「Optimize your storage costs for rarely-accessed files with Amazon EFS Archive」。

先前應該是 2019 的時候推出了 IA：「Amazon EFS 的 IA Storage Class」，現在的 Archive 就是新的 storage class，儲存成本更便宜，但取用成本更高。

以 us-east-1 的價錢來看，可以到 Archive 的成本是 IA 的一半：

Standard (GB-Month)	$0.30
Infrequent Access (GB-Month)	$0.016
Archive (GB-Month)	$0.008
Backup - Warm / Cold (GB-Month)	$0.05 / $0.01

讀取成本則是 IA 的三倍：(這邊的 Tiering 指的是自動化的搬遷的服務)

All storage classes - Reads (per GB transferred)	$0.03
All storage classes - Writes (per GB transferred)	$0.06
Infrequent Access - Reads (incremental charge per GB transferred)	$0.01
Infrequent Access - Tiering (per GB transferred)*	$0.01
Archive - Reads (incremental charge per GB transferred)	$0.03
Archive - Tiering (per GB transferred)*	$0.03

基本上就是 Amazon S3 那套分級方法陸陸續續搬過來的感覺。

然後注意到這個「Regional (Multi-AZ) with Elastic Throughput」是新的計價方案，就算是 Standard storage class，I/O 是要算錢的。

在舊的方案「Regional (Multi-AZ) with legacy throughput modes」裡面，Standard 的 I/O 是不用額外付費，已經包在裡面，除非你直接購買 Provisioned (保證速度)：

Standard (GB-Month)	$0.30
Infrequent Acces (GB-Month)	$0.025
Backup - Warm / Cold (GB-Month)	$0.05 / $0.01
Provisioned Throughput (MB/s-Month)	$6.00
Infrequent Access - Reads (per GB transferred)	$0.01
Infrequent Access - Tiering (per GB transferred)*	$0.01

翻了一下 Internet Archive 可以確認前幾天 2023/11/26 的 pricing 頁面還是舊的，也就是說這是這次推出來的改變：「Amazon EFS Pricing」。

看了一下目前 blog 上最近掛 Amazon EFS 類別的三篇都沒提到這件事情 (「New – Announcing Amazon EFS Elastic Throughput」、「Optimize your storage costs for rarely-accessed files with Amazon EFS Archive」以及「Replication failback and increased IOPS are new for Amazon EFS」)，要用的人自己注意一下？

Amazon EBS 在 Compliance mode 下的 Snapshot Lock

Jeff Barr 寫了「New – Amazon EBS Snapshot Lock」這篇，介紹 Amazon EBS 的新功能 Snapshot Lock。

從名字就知道是鎖住 snapshot 不讓人刪除，比較特別的是有兩個模式，第一個是 Governance，這個模式下就只是防止誤刪除的情況：

This mode protects snapshots from deletions by all users. However, with the proper IAM permissions, the lock duration can be extended or shortened, the lock can be deleted, and the mode can be changed from Governance mode to Compliance mode.

比較重要的是第二個模式 Compliance，在超過猶豫期 (cooling-off period) 後就不能動了，就算你有最大的權限 (我猜是連 root account 也不能動)，唯一能操作的只有延長 lock 時間：

This mode protects snapshots from actions by the root user and all IAM users. After a cooling-off period of up to 72 hours, neither the snapshot nor the lock can be deleted until the lock duration expires, and the mode cannot be changed. With the proper IAM permissions the lock duration can be extended, but it cannot be shortened.

的確是遵循法規用的功能...

Backblaze 宣佈漲價

Backblaze 宣佈漲價：「Backblaze Product and Pricing Updates」。

其中 B2 Cloud Storage 這邊最主要的改變在 Storage 的部分，這次漲了 20%，從 $5/TB 變成 $6/TB：

Storage Price: Effective October 3, 2023, we are increasing the monthly pay-as-you-go storage rate from $5/TB to $6/TB. The price of B2 Reserve will not change.

頻寬的部分增加了一些 free quota，不過在意頻寬成本的人都會用 Cloudflare 之類的方式避開了，這個其實沒有什麼差... (因為 Backblaze 流出到 Cloudflare 的流量是不計費的)

Backblaze Computer Backup 的部分沒有什麼在碰，但看起來最主要的改變是從現有的 $7/mo 漲到 $9/mo，大約 28.57%：

Computer Backup Pricing: Effective October 3, new purchases and renewals will be $9/month, $99/year, and $189 for two-year subscription plans, and Forever Version History pricing will be $0.006/GB/month.

漲幅其實頗高的，但漲完後還是市場上比較低價的產品...

Amazon EBS 十五週年，以及一些數據

AWS 的 SVP James Hamilton 寫了一篇「Amazon Elastic Block Store at 15 Years」在講 Amazon EBS 的十五週年，裡面提到了一些數字。

目前的每天的 IOPS 是 100 trillion，如果攤平的話大約是 11.57 billion IOPS/sec，如果很單純以目前高階 NVMe 卡大約是 1M IOPS/sec 這個數量級來算的話，在沒有任何 redundancy 架構，需要的量大約是萬張？以 AWS 的量感覺好像是個合理的數字... 考慮到 IOPS 主力應該是 SSD 或 NVMe 類的應用，加上 redundancy 以及保留 burst 空間的架構，最少有個十萬張... 應該不算有問題。

I asked the EBS team to quantify customer usage in 2023, the 15th year of EBS. Focusing first on daily usage, EBS delivers more than 100 trillion input/output operations per day.

另外一個是傳輸量，每天有 13EB，攤平大約是 150.46TB/sec，如果用上面提到的十萬顆來攤的話大約是需要 1.5GB/sec 的速度，拿數量級來算應該是差不多。

Perhaps even more staggering is the fact that EBS transfers more than 13 exabytes of data for customers every day.

另外一個是百萬客戶 (也許是帳號) 每天會開出三億個 EBS storage，我猜這跟機器的起起落落有關，現在 EC2 開機主要都是要掛 EBS 的 boot disk 了：

Continuing to focus on daily usage, millions of customers use EBS daily, and these millions of customers create more than 390 million EBS storage volumes each day.

的確如同 James Hamilton 說的，EBS 現在已經變成一個蠻重要的基礎建設了，很多 AWS 上的服務都是架在他上面，像是 RDS 利用了 EBS 的 block replication 組出了 readonly repica，而非走傳統的 replication 路子。

Mountpoint for Amazon S3 正式推出 (GA) 了...

三月的時候提到 AWS 搞出了自己的 Amazon S3 的 FUSE 實作：「AWS 官方推出了自己的 Amazon S3 FUSE 套件」，現在 GA 了：「Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads」。

看起來 s3fs-fuse 還是一直有在更新，然後翻了翻好像沒看到兩者的比較... (可能是之前 Mountpoint for Amazon S3 在 alpha 版的關係？)

記得這個功能拿來塞些東西還蠻好用的...

Amazon S3 的新數字

Werner Vogels 寫了一篇在回憶 Amazon S3 的文章：「Building and operating a pretty big storage system called S3」，裡面有個是他這個層級比較容易取得公開權限的資料：

有標注「S3 by the numbers (as of publishing this post).」，所以是 2023 年七月現在的數字。

雖然很明顯的還是避開談總大小，但有提供目前的 S3 object 數量是 280 兆，以及 request 量是每秒 1 億次。

搭配之前公開過的數字 (出自維基百科上的「Amazon S3」條目)，上次公佈是在 2021 年三月的時候宣布超過 100 兆，所以過了兩年的時間已經到 280 兆了：

Amazon Web Services introduced Amazon S3 in 2006. Amazon reported it stored more than 100 trillion objects as of March 2021, up from 10 billion objects in October 2007, 14 billion objects in January 2008, 29 billion objects in October 2008, 52 billion objects in March 2009, 64 billion objects in August 2009, 102 billion objects in March 2010, and 2 trillion objects in April 2013.

SQLite 官方自己搞的 Cloud Backed SQLite

SQLite 自己搞了一套使用雲端空間為儲存空間的技術：「Cloud Backed SQLite」，對應的 Hacker News 討論可以看「Cloud Backed SQLite (sqlite.org)」這邊。

他說目前支援 Azure Blob Storage 與 Google Cloud Storage，這點比較有趣，沒有提到 Amazon S3：

The system currently supports Azure Blob Storage and Google Cloud Storage. It also features an API that may be used to implement support to other cloud storage systems.

跟之前的 sql.js 專案不太一樣，sql.js 的作法是用 HTTP range 存取現有的 SQLite 資料庫檔案，而這次的這個專案則是改變底層架構，去配合雲端環境的特點。

雲端的 storage 因為每個 access 都會有很高的 latency (相比於本地的空間)，所以要避免太多 random access，儘量以 sequential access 為主，這個特性像是以前在處理傳統磁頭硬碟時的技巧。

另外一個特點是雲端空間有多檔案的概念，所以也可以利用這個方式設計資料結構。

還蠻有趣的計畫，而且是官方搞的...

GCP 的 Disks 與 AWS 的 EBS 的比較...

下午在升級 GCP 上面的跳板機的時候，發現機器用的是 Standard Persistent Disk (Standard PD)，這是個 HDD 架構，跑起來超慢，研究了一下發現 AWS 與 GCP 兩邊的差異其實有點大，整理一下...

價錢的部分，AWS 的部分拿東京區 (ap-northeast-1) 的價錢來看，GCP 則是拿台灣區 (asia-east1) 來看。

先看 SSD 的部分：

AWS 最常用的 gp3 是 $0.096/GB，無論空間大小，效能上都提供 3000 IOPS 與 125MB/sec throughput，另外可以加價購買 IOPS 與 throughput。不過也因為這個性質，拿來當開機碟很好用。

早期的 gp2 則是 $0.12/GB，效能上提供 3 IOPS/GB，但最低會給 100 IOPS，所以當開機碟也還可以，不會到太慢。

GCP 如果是 Balanced Persistent Disk (Balanced PD) 是 $0.1/GB，效能上會提供 6 Read IOPS/GB + 6 Write IOPS/GB + 0.28MB/sec/GB throughput；以 10GB 的 disk 來說會是 60 Read IOPS + 60 Write IOPS + 2.8MB/sec throughput。

如果是 SSD Persistent Disk (SSD PD) 是 $0.17/GB，效能上是 30 Read IOPS/GB + 30 Write IOPS/GB + 0.48MB/sec/GB throughput；以 10GB 的 disk 來說會是 300 Read IOPS + 300 Write IOPS + 28MB/sec throughput。

再來是 HDD 的部分：

AWS 這邊代號是 standard，價錢是 $0.08/GB，另外 IOPS 每 1M 個 IOPS 也要收 $0.08，如果是拿來開機的話還好，但如果是有應用在上面操 IOPS 的話就不太便宜了。

GCP 這邊是 Standard Persistent Disk (Standard PD)，價錢是 $0.04/GB，效能上提供 0.75/GB Read IOPS + 1.5/GB Write IOPS + 0.12MB/sec/GB throughput；以 10GB 的 disk 來說會是 7.5 Read IOPS + 15 Write IOPS + 1.2MB/sec throughput。

所以如果是不太在意效能的情況下要找 C/P 值 (但也不到完全不在意？)，在 AWS 上用 standard 就不太划算，畢竟多一些些費用就可以用 gp3，對效能提升巨大；但在 GCP 上就會想用 Standard PD，從單價可以看到差了蠻多...