Home » Posts tagged "aws" (Page 55)

AWS 歷史上第一台 RAM 比儲存空間多的 instance...

看到 AWS 推出新的 EC2 instance:「EC2 for In-Memory Computing - The High Memory Cluster Eight Extra Large Instance」,看完這個 instance 的規格笑了出來 XDDD

120GB SSD 兩顆 (所以是 240GB),加上 244GB RAM,結果記憶體比 SSD 空間大,應用程式一定得分層利用... XDDD

Colin Percival 開了台 FreeBSD 9.1 起來測試,可以順便看到一些硬體資訊。

目前還沒有 Reserved Instances 可以買,所以依照目前的價錢 USD$3.50/hour,一年大約是 90 萬新台幣,而這金額差不多可以直接買一台了... 所以這個 instance 的定位是在非長期的大量運算?不過依照 AWS 的慣例,過陣子應該還是會出 Reserved Instances 讓需要的人買...

不過這也是目前記憶體最多的機器,如果下次看到有文章寫「因為資料超過 244GB,所以資料庫效能炸掉」的訊息,就知道發生什麼事情了 XDDD

Twitter 的熱門搜尋演算法 (以及背後的機制)

昨天的 Twitter Engineering Blog 上說明了 Twitter 這陣子改善搜尋演算法背後的故事:「Improving Twitter search with real-time human computation」。

因為搜尋的量夠大,所以可以拿搜尋的 keyword 計算。

而系統會一直分析搜尋的關鍵字,當發現有詞彙在某個時間內超過設定的水位時,就發 API 到 AmazonMechanical Turk 讓真人分析 (分類),分析完成後就可以再回到自動化的流程進行後續的步驟...

Mechanical Turk 就是 crowdsourcing 類型的服務,這個服務因為法令限制,到現在還是只能讓美國的公司或是個人使用,是少數還沒玩過的服務,應該來找看看有沒有其他 crowdsourcing 服務可以玩...

把 PEM Private Key 檔轉成 SSH Public Key 格式...

RSA 中,單獨靠 Private Key 是無法算出 Public Key 的,不過在 PEM 檔裡因為都有紀錄,所以可以取出:

openssl rsa -in aws.pem -pubout

不過取出的格式需要再轉一次讓 OpenSSH 可以吃:(參考「Convert pem key to ssh-rsa format」這篇的方法)

ssh-keygen -f aws.pub -i -m PKCS8

雖然 ssh-keygen 不接受 - 當 stdin,但可以利用 /dev/stdin 直接串起來:

openssl rsa -in aws.pem -pubout | ssh-keygen -f /dev/stdin -i -m PKCS8

AWS EC2 新機種:超大台的 hs1.8xlarge...

Amazon Web ServicesEC2 在世界末日時發表 120GB RAM、16 virtual core、48TB disk (24 disks) 的「EC2 虛擬機」:「The New EC2 High Storage Instance Family」。

看起來像是 12 顆 7.2KRPM 的 2TB SATA,每顆如果可以跑到 200MB 就是 2.4GBytes/sec?如果是這種規格,給大量 sequence read/write 的運算超適合,官方 blog 的說明裡的解釋也是接近這個方向:

This instance family is designed for data-intensive applications that require high storage density and high sequential I/O -- data warehousing, log processing, and seismic analysis (to name a few). We know that these applications can generate or consume tremendous amounts of data and that you want to be able to run them on EC2.

目前只在 US-East (Northern Virginia) 有,USD$4.60/hour,硬算 720 小時,大約是每個月台幣十萬...

AWS 最近在補的硬體可以看出來是 Hybrid Hosting 的路線:這些機器應該是一台只跑一個 instance,跟 Dedicated Hosting 差不多。上面跑虛擬化只是為了算錢 (accounting) 以及一些安全機制 (像是防止 IP spoof,以及配合 EC2 提供的 firewall)。

實質上不太能說 AWS 不是 Hybrid Hosting 了...

AWS 澳洲開台!

AWS 在澳洲雪梨開台:「New Asia Pacific (Sydney) Region in Australia - EC2, DynamoDB, S3, and Much More」,成為目前 AWS 南半球第二個服務區域 (第一個是巴西聖保羅)。

幾乎所有主要服務都開台了... 連 AWS Direct Connect 都開 :p

其中兩個主要服務,EC2 的費用與新加坡相同,網路流量部分是亞洲區裡面偏貴的。而 S3 空間費用跟加州一樣貴... 不過講這麼多,用的到的人應該還是會用,畢竟光的速度還是有極限的,建在本地總是有優勢...

接下來會開在俄羅斯嗎?XD

AWS Tokyo 第三個 Region 啟用...

AWS Tokyo 第三個 region 啟用:「AWS Growth - Adding a Third Availability Zone in Tokyo」。

查了之前的 blog,第一個 region 是 2011 的三月初 (「Amazon Web Services 東京!」),第二個 region 是 2011 的三月底 (「AWS 東京第二個 AZ (Availability Zone) 今天啟用...」),過個一年半加第三個 region,現在看起來當初加第二個應該是為了 HA 的需求...

不過相較於新加坡,日本的量還是成長的比較大...

AWS CloudFront 的等級

在 CDN 報價時,會把歐美與非歐美區 (通常是指亞洲與澳洲) 的報價分開,主要是因為頻寬的成本不同。

不過亞洲客戶通常不會遇到這個問題,因為對方看你是亞洲客戶,第一份報價會直接使用亞洲區的報價,當你跟業務一直橋價錢,業務就有可能會跟跟你解釋這是因為亞洲區成本比較高 blah blah blah... 這時候業務就會拿出 US & EU only PoP 的報價單出來,如果你測過覺得 okay,那麼就搞定...

所以每次遇到 AWS 的業務被問到「你覺得 AWS 有什麼可以改善的?」幾乎都會提分級的事情,而從三年前 (應該吧) 就一直提的東西終於做出來了:「Amazon CloudFront - Cookie Support and More」。

現在 CloudFront 支援三種等級,Price Class All (預設等級,包含所有的 PoP),Price Class 200 (歐美、日本、香港、新加坡),以及 Price Class 100 (歐美),可以透過 Web Console 直接設定,接下來可以來觀察看看有哪些網站換掉 :p

Archives