Tag Archives: s3

Amazon S3 的改善

其實老牌的 Amazon S3 也改了不少東西:「Revolutionizing S3 Storage Management with 4 new features」。 其中的「S3 Object Tagging」讓管理可以透過 tag 處理,管理上會多一些選擇。而「S3 Analytics, Storage Class Analysis」則是可以分析存取的 pattern,藉此重新規劃 policy。 看到之前的同事說 CloudFront 要支援 2-tier cache,但卻還沒看到公告,不知道是怎麼樣的實作方式... 這對大型的 live streaming 幫助很大啊,後面的壓力會小很多。

Posted in AWS, CDN, Cloud, Computer, Murmuring, Network | Tagged , , , , , , , , , , , , | Leave a comment

Amazon Athena:直接在 S3 上進行分析

Amazon Athena 提供另外一種選擇,讓分析的便利性增加了許多:「Amazon Athena – Interactive SQL Queries for Data in Amazon S3」。 以往都需要開 server 起來分析,這個新的服務直接使用就好: Athena is based on the Presto distributed SQL engine and can query data in many different formats including JSON, CSV, log files, text with … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, Software | Tagged , , , , , , , , , , , , , | Leave a comment

Amazon S3 與 Glacier 的降價...

這次 AWS 對 storage 類調降了不少幅度,包括了 S3 與 Glacier:「AWS Storage Update – S3 & Glacier Price Reductions + Additional Retrieval Options for Glacier」。 S3 的部份降幅都不算低,要注意的是這次是 2016/12/01 開始,並沒有回朔: We are reducing the per-GB price for S3 Standard Storage in most AWS regions, … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network | Tagged , , , , , , | Leave a comment

CloudFront 支援 IPv6

Amazon CloudFront 宣佈支援 IPv6 了:「IPv6 Support Update – CloudFront, WAF, and S3 Transfer Acceleration」。 不只是 Amazon CloudFront 支援了 IPv6,還包括了使用 CloudFront 而建出的 AWS WAF 與 Amazon S3 Transfer Acceleration。 所以對外的部份都有 IPv6 了 (包括了 ELB),現在不支援的應該是內部機器與 Elastic IP address?

Posted in AWS, CDN, Cloud, Computer, Murmuring, Network, WWW | Tagged , , , , , , , , , , | Leave a comment

Amazon S3 開放 IPv6 存取

開放 IPv6 存取 Amazon S3 了:「Now Available – IPv6 Support for Amazon S3」。 對應的 Endpoint 是 http://BUCKET.s3.dualstack.REGION.amazonaws.com 與 http://s3.dualstack.REGION.amazonaws.com/BUCKET。 值得注意的是所有功能都開放 IPv6 了,包括 BitTorrent (還記得嗎 XDDD 如果忘記的,可以參考「Using BitTorrent with Amazon S3 這篇的說明」): S3 Feature Support – IPv6 support is available for … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network, P2P, WWW | Tagged , , , , , , , , | 1 Comment

Amazon S3 推出加速功能

Amazon S3 推出了新的加速功能,並且向更多地區提供 AWS Import/Export Snowball 服務:「AWS Storage Update – Amazon S3 Transfer Acceleration + Larger Snowballs in More Regions」。 其中的 Amazon S3 Transfer Acceleration 只要把本來的 BUCKET_NAME.s3.amazonaws.com 或是帶有地區的 BUCKET_NAME.s3-region.amazonaws.com 變成 BUCKET_NAME.s3-accelerate.amazonaws.com 就可以了,他會透過 CloudFront 的節點做 proxy,並且透過 AWS 內部最佳化過的網路傳輸。 由於這是定位為 Amazon S3 … Continue reading

Posted in AWS, CDN, Cloud, Computer, Murmuring, Network, WWW | Tagged , , , , , , , , , , , , , , , , , | Leave a comment

Amazon S3 與 HDFS 的速度差異

作者繼續以 A Billion Taxi Rides 的資料測試各種差異,這次測了 Amazon S3 與 HDFS 的速度差異:「A Billion Taxi Rides: AWS S3 versus HDFS」。 前半部都在說明測試的環境設定,重點在文章的最後面 (也就是「Benchmarking HDFS」這段),裡面有各種 query 的速度。HDFS 的速度大約是 Amazon S3 的 1.25 到 1.75 倍,作者給的結論是: Though the speed improvements using HDFS are considerable, S3 … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network, Software | Tagged , , , , , , , , , , , , , | Leave a comment

Amazon 的 CTO 對 AWS 十週年的想法

雖然還沒到十週年,但 Amazon 的 CTO 還是寫下他對 AWS 十週年的想法了,也是這十年來學到的經驗:「10 Lessons from 10 Years of Amazon Web Services」。 The epoch of AWS is the launch of Amazon S3 on March 14, 2006, now almost 10 years ago. 他所列出的十個主題分別是: Build evolvable systems Expect the … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network | Tagged , , , , , , , | Leave a comment

Amazon EMR 可以在 Private Subnet 裡面執行了...

以前 Amazon EMR 都只能接著 Public IP 跑 (AWS 端會認這個 IP),現在可以丟進 Private Subnet 裡面跑:「New – Launch Amazon EMR Clusters in Private Subnets」。 看起來主要是半年前的功能的延伸。 在今年五月時 Amazon VPC 內有直通 Amazon S3 的介面,不需要再通過 Internet 處理:「Amazon VPC 的 Private Subnet 不需要透過 NAT 去 Amazon S3 … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network, Security, Software | Tagged , , , , , , , , , , , , , | Leave a comment

用 Amazon API Gateway 重導網域

在「Creating An Amazon API Gateway With aws-cli For Domain Redirect」這邊看到用 Amazon API Gateway 重導整個網域的方法。一般的做法是用 Amazon S3 (用 web hosting 重導) + Amazon CloudFront (for HTTPS) 堆出來,事實上這個方法成本也比較低,這篇文章只是示範怎麼用而已: I’m not saying the API Gateway method is better than using S3 plus CloudFront … Continue reading

Posted in AWS, CDN, Cloud, Computer, Murmuring, Network, Programming, Security, WWW | Tagged , , , , , , , , , , , , | Leave a comment