AWS 的幾個進展:EC2 HPC 與 ISO 27001

其中一個是 AWS EC2HPC (High Performance Computing) 平台上了 2010 年 11 月 Top 500 的 #231:「AWS Compute Cluster #231 on Top 500」,每個 node 只要 $1.60/hour 與 $2.10/hour (GPU 版本)。

另外一個是 AWS 通過 ISO 27001:2005 - Information technology -- Security techniques -- Information security management systems -- Requirements:「AWS Receives ISO 27001 Certification」。

兩件事情都不小,前者會對 Super Computer 帶來一定程度的改變,後者則是給一般人對於 Cloud Computing 的安全印象有所改變 (雖然我覺得 ISO 27001 解決的方向並不太一樣...)。

利用 AWS CloudFront 的 Custom Origin 實做標準 deflate/gzip 壓縮

在「gzip support for Amazon Web Services CloudFront」這篇提到了要如何用 CloudFront 的 Custom Origin 實做標準 deflate/gzip。

之前 CloudFront 就有支援 Vary header,雖然只支援 Accept-Encoding,但這就是我們要的:(Appendix: Custom Origins)

The only acceptable value for the Vary header is Accept-Encoding.

本來 S3 沒有能力依據 Accept-Encoding 送出不同的結果,這次有了 Custom Origin 出來以後掛個有能力 gzip-on-the-fly 的 Web Server 就可以做到了,檔案也不一定要放到 S3 上 (可以放 EBS)。

基本上這個功能可以用現有的外部機器做 (因為 CloudFront 連到 Origin 的量應該不大),或是 EC2 的 micro instance 應該也夠用了...

Netflix 拋棄 Akamai CDN,改以 Level 3 CDN 為主力

這幾天 CDN 市場裡比較大的新聞之一,從這篇開始:「Akamai To Lose Netflix As A Customer, Level 3 and Limelight Pick Up The Business」。

另外的後續報導是:

Netflix 以前以 DVD 租用服務為主,在推出 Video Streaming 後其實可以節省很多成本 (如果以郵寄的成本與 bandwidth 的成本比較起來),而且會是未來的趨勢,所以在 CDN 這塊不僅靠著量大成為重量級客戶,還是很重要的「指標性客戶」。這次傳言因為效能因素從 Akamai 換成 Level 3 絕對是震撼彈,對於所有 CDN 的品牌迷思會是很重要的革新。

我相信 Level 3 最近不斷公告增加美加地區的 PoP 承載能力應該跟這筆合約有關,而且我也相信 Level 3 應該有能力吃下 Netflix 的量...。

AWS CloudFront 支援 Non-S3 Origin 了!

AWS CloudFront 支援非 S3 的 Origin Server 了:「Amazon CloudFront Support for Custom Origins」。

這樣等於直接與現有 CDN 市場競爭,使用者可以用 EdgeCastCloud Storage 或是自己的 Origin Server,甚至是用 GitHub 直接當 Origin Server,晚點再來玩...

另外也從 Beta 畢業成為正式的服務,並正式提供 99.9% 的 SLA:「Amazon CloudFront - Production Status and an SLA」。

AWS S3 儲存空間降價

AWS S3 自 11/1 開始降價:「What Can I Say? Another Amazon S3 Price Reduction!」。

包括 Standard storage 與 Reduced Redundancy storage 都一併降價,其中 Reduced Redundancy storage 是依照 Standard storage 的 2/3 價錢計算。不知道是不是跟 EdgeCast 最近在測試 Cloud Storage 有關?

EdgeCast Cloud Storage 試用

EdgeCast 最近開始測試 Cloud Storage 服務,這個服務可以用信用卡付款,沒有 setup fee 之類的費用,看了功能以及價錢似乎是可以玩看看的東西...

先說缺點:

  • 目前看起來只有一個洛杉磯 (LAX) 的點,資料的安全性會是個問題。也因為如此,在與 S3 比較時,應該與 Reduced Redundancy Storage 這個等級互相比較。
  • 檔案上傳後到可以從 Web Server 上取得的時間太長,依照他的說法可能會 30secs,我測試也差不多會到 30secs。S3 雖然也沒有保證,但幾乎是上傳後就馬上可以讀到了。
  • 有提供 API,但 API 文件要登入 (也就是說一定得註冊) 才能下載。

優點:

  • 價錢便宜。空間的部份即使是跟 S3 的 Reduced Redundancy Storage 相比也便宜不少。頻寬與 transaction fee 的部份也是一樣。
  • 反應速度。S3 的 first byte 反應速度太慢,我在 Linode 美西的點 (也是在 LAX) 上測試 jQuery 1.4.3,S3 的 first byte 要 34ms,而 Cloud Storage 的 first byte 反應速度大約是 11ms。
  • 用 FTP 就可以上傳,所以現有的 FTP sync tool 可以直接拿出來用。

要注意的有兩點:

  • 是預設是 public,也就是傳上去後所有檔案都是公開的,可以透過 http 下載。
  • 另外,Web 預設的 max-age 是 900,而且沒有 Compression,要記得去 Rules Engine 裡設定。

試用的情況大概就這樣吧...

Amazon Web Services 推出免費試用方案

從今年的 11/1 開始,新註冊 AWS 的使用者可以取得一年份免費的 quota:「AWS Free Usage Tier」,這些免費的 quota 包括了持續使用 micro instance 的能力,以及一些免費的頻寬及儲存空間。

另外還有一些免費的 quota 是包括現有的使用者,主要是推不太起來的服務... 像是 SimpleDBSimple Queue Service 以及 Simple Notification Service,這些看起來就不太好用的服務...

對於一些嘗試性的服務會相當方便...

IndexTank 的設計

IndexTank 是在 xdite 的個人板上看到的網站,號稱真正 Scalable 的 Search Engine,看了他的架構設計後看起來應該是真的 Scalable。

由於是屬於 SaaS 服務,對於 startup 不想自己做 search engine 的可以直接套上去。而對於技術人員真正有價值的是他的 API 設計文件中的 function definition syntax:「function definition syntax」,雖然故意寫個 coming soon,但實際上可以在 client library 裡看到範例:「Python client」。

先內建一些基本的數學函數,像是四則運算、power、log,並且內建一些很常用到的變數。接下來定義出來的函數可以再重複使用,不斷累積上去,最後在 query 的時候就可以 ORDER BY 某個 score...

IndexTank 告訴你「利用 API 讓前端程式設定 function 以降低 denormalization 的複雜度」時要怎麼設計 API,當你自己建立 search engine 時,新增的 function 還可以在後端用 MapReduce 把資料補上去...。

另外可以再參考「How Hacker News ranking algorithm works」這篇文章。(這篇文章的 comment 裡面有其他的 ranking code 可以看)

AWS RDS 支援 Read Replication

AWS RDS 支援 read replication 了:「Amazon RDS: Announcing Read Replicas」。

不過常見到的問題還是會有,像是 replication lag 以及所產生的 read-after-write 問題。但對於許多 read 需求遠大於 write 需求的應用來說,RDS 新推出的功能可以再簡化 MySQL 的設置...

AWS EC2 可以匯入自己的 SSH public key 了...

今天 AWS EC2 一口氣丟出一堆小功能:

其實這些功能都沒什麼大不了的,Idempotent Instance Creation 可以避免重複產生 instance,而 Resource Tagging 暫時想不到用途,Filtering 則是 describe 的功能加強...

對現在最有幫助的是第四個,ssh 時可以不用指定 -i .ssh/ooxx.pem 算是有直接影響的吧?目前還不能透過 Web Console 匯入,必須用 ec2-import-keypair 指令匯入。