Tag Archives: emr

Amazon EMR 可以在 Private Subnet 裡面執行了...

以前 Amazon EMR 都只能接著 Public IP 跑 (AWS 端會認這個 IP),現在可以丟進 Private Subnet 裡面跑:「New – Launch Amazon EMR Clusters in Private Subnets」。 看起來主要是半年前的功能的延伸。 在今年五月時 Amazon VPC 內有直通 Amazon S3 的介面,不需要再通過 Internet 處理:「Amazon VPC 的 Private Subnet 不需要透過 NAT 去 Amazon S3 … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network, Security, Software | Tagged , , , , , , , , , , , , , | Leave a comment

EMR 對 S3 Consistency 的補強

今年一月的時候,Netflix 曾經寫過一篇關於對 S3 的 Eventually Consistency 的問題:「Netflix 對 S3 的 Eventually Consistency 的補強...」,當時 Netflix 的作法是實做 s3mper 以確保一致性。 過了半年,AWS 的人在 EMR 上實做了類似的功能:「Consistent View for Elastic MapReduce's File System」。 看文章的說明,應該是用到 DynamoDB 負責 S3 上資料的狀態,而 DynamoDB 的資料並不會砍掉,所以在使用時要注意這點 :o

Posted in AWS, Cloud, Computer, Murmuring, Network, Software | Tagged , , , , , , , , , , , , , , , | Leave a comment

Amazon EMR 總算支援更多種類的機器了...

Amazon Elastic MapReduce 一直都只能跑舊的機器,總算把新機器加上去了:「New Instance Types for Amazon Elastic MapReduce」。 接下來應該都會用 c3 系列來跑吧?

Posted in AWS, Cloud, Computer, Murmuring, Network | Tagged , , , , , | Leave a comment

AWS 大降價

在「AWS Price Reduction #42 - EC2, S3, RDS, ElastiCache, and Elastic MapReduce」這邊看到 AWS 降價的消息,明顯是被 Google 壓著推出來 :p 降價的範圍包括 EC2 instance、EC2 的 reserved instance、S3,以及對應的 RDS、ElastiCache、Elastic MapReduce。 前幾天買了兩台 us-west-2 c1.xlarge 的三年 RI,結果從 USD$2804 降到 USD$2524,現虧 USD$280 (XDDD),而每小時單價從 USD$0.124 降到 USD$0.112,也就 9.7% 左右。 … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network | Tagged , , , , , , , , , | 1 Comment