Home » Computer » Network » Cloud » Archive by category "AWS" (Page 52)

Twitter 的熱門搜尋演算法 (以及背後的機制)

昨天的 Twitter Engineering Blog 上說明了 Twitter 這陣子改善搜尋演算法背後的故事:「Improving Twitter search with real-time human computation」。

因為搜尋的量夠大,所以可以拿搜尋的 keyword 計算。

而系統會一直分析搜尋的關鍵字,當發現有詞彙在某個時間內超過設定的水位時,就發 API 到 AmazonMechanical Turk 讓真人分析 (分類),分析完成後就可以再回到自動化的流程進行後續的步驟...

Mechanical Turk 就是 crowdsourcing 類型的服務,這個服務因為法令限制,到現在還是只能讓美國的公司或是個人使用,是少數還沒玩過的服務,應該來找看看有沒有其他 crowdsourcing 服務可以玩...

把 PEM Private Key 檔轉成 SSH Public Key 格式...

RSA 中,單獨靠 Private Key 是無法算出 Public Key 的,不過在 PEM 檔裡因為都有紀錄,所以可以取出:

openssl rsa -in aws.pem -pubout

不過取出的格式需要再轉一次讓 OpenSSH 可以吃:(參考「Convert pem key to ssh-rsa format」這篇的方法)

ssh-keygen -f aws.pub -i -m PKCS8

雖然 ssh-keygen 不接受 - 當 stdin,但可以利用 /dev/stdin 直接串起來:

openssl rsa -in aws.pem -pubout | ssh-keygen -f /dev/stdin -i -m PKCS8

AWS EC2 新機種:超大台的 hs1.8xlarge...

Amazon Web ServicesEC2 在世界末日時發表 120GB RAM、16 virtual core、48TB disk (24 disks) 的「EC2 虛擬機」:「The New EC2 High Storage Instance Family」。

看起來像是 12 顆 7.2KRPM 的 2TB SATA,每顆如果可以跑到 200MB 就是 2.4GBytes/sec?如果是這種規格,給大量 sequence read/write 的運算超適合,官方 blog 的說明裡的解釋也是接近這個方向:

This instance family is designed for data-intensive applications that require high storage density and high sequential I/O -- data warehousing, log processing, and seismic analysis (to name a few). We know that these applications can generate or consume tremendous amounts of data and that you want to be able to run them on EC2.

目前只在 US-East (Northern Virginia) 有,USD$4.60/hour,硬算 720 小時,大約是每個月台幣十萬...

AWS 最近在補的硬體可以看出來是 Hybrid Hosting 的路線:這些機器應該是一台只跑一個 instance,跟 Dedicated Hosting 差不多。上面跑虛擬化只是為了算錢 (accounting) 以及一些安全機制 (像是防止 IP spoof,以及配合 EC2 提供的 firewall)。

實質上不太能說 AWS 不是 Hybrid Hosting 了...

AWS 澳洲開台!

AWS 在澳洲雪梨開台:「New Asia Pacific (Sydney) Region in Australia - EC2, DynamoDB, S3, and Much More」,成為目前 AWS 南半球第二個服務區域 (第一個是巴西聖保羅)。

幾乎所有主要服務都開台了... 連 AWS Direct Connect 都開 :p

其中兩個主要服務,EC2 的費用與新加坡相同,網路流量部分是亞洲區裡面偏貴的。而 S3 空間費用跟加州一樣貴... 不過講這麼多,用的到的人應該還是會用,畢竟光的速度還是有極限的,建在本地總是有優勢...

接下來會開在俄羅斯嗎?XD

AWS Tokyo 第三個 Region 啟用...

AWS Tokyo 第三個 region 啟用:「AWS Growth - Adding a Third Availability Zone in Tokyo」。

查了之前的 blog,第一個 region 是 2011 的三月初 (「Amazon Web Services 東京!」),第二個 region 是 2011 的三月底 (「AWS 東京第二個 AZ (Availability Zone) 今天啟用...」),過個一年半加第三個 region,現在看起來當初加第二個應該是為了 HA 的需求...

不過相較於新加坡,日本的量還是成長的比較大...

AWS CloudFront 的等級

在 CDN 報價時,會把歐美與非歐美區 (通常是指亞洲與澳洲) 的報價分開,主要是因為頻寬的成本不同。

不過亞洲客戶通常不會遇到這個問題,因為對方看你是亞洲客戶,第一份報價會直接使用亞洲區的報價,當你跟業務一直橋價錢,業務就有可能會跟跟你解釋這是因為亞洲區成本比較高 blah blah blah... 這時候業務就會拿出 US & EU only PoP 的報價單出來,如果你測過覺得 okay,那麼就搞定...

所以每次遇到 AWS 的業務被問到「你覺得 AWS 有什麼可以改善的?」幾乎都會提分級的事情,而從三年前 (應該吧) 就一直提的東西終於做出來了:「Amazon CloudFront - Cookie Support and More」。

現在 CloudFront 支援三種等級,Price Class All (預設等級,包含所有的 PoP),Price Class 200 (歐美、日本、香港、新加坡),以及 Price Class 100 (歐美),可以透過 Web Console 直接設定,接下來可以來觀察看看有哪些網站換掉 :p

找 CloudFront 問題的方法...

分別是 identity.cloudfront.netresolver-identity.cloudfront.net 的 TXT record,像是這樣:

;; QUESTION SECTION:
;identity.cloudfront.net.       IN      TXT

;; ANSWER SECTION:
identity.cloudfront.net. 60     IN      TXT     "ns-nrt52-02.cloudfront.net.nrt52"

以及:

;; QUESTION SECTION:
;resolver-identity.cloudfront.net. IN   TXT

;; ANSWER SECTION:
resolver-identity.cloudfront.net. 10 IN TXT     "210.242.135.97"

看起來是 AWS 在 forum 上回答時的 SOP 之一...

Archives