Tag Archives: s3

Amazon Redshift 可以讀 S3 裡被 KMS 加密過的資料了

清資料時發現支援了:「Amazon Redshift now supports encrypting unloaded data using Amazon S3 server-side encryption with AWS KMS keys」: The Amazon Redshift UNLOAD command now supports Amazon S3 server-side encryption using an AWS KMS key. 這樣資料丟上 Amazon S3 時可以透過 AWS KMS 加密保存,而 Amazon … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, Security, Software | Tagged , , , , , , , , , | Leave a comment

CodeDeploy 的權限設定...

這陣子在弄 AWS CodeDeploy,調整了半天才把權限壓低到合理的範圍 (AWS 給的預設值還是有點大),記錄下來之後會比較好找... 在權限部份,AWS CodeDeploy 應該有三個權限要設定: IAM user:給 CI 跑完後丟上 Amazon S3 並且呼叫 AWS CodeDeploy 佈署用的,像是 Travis CI 或是之類的服務。但如果是手動到 web console 觸發的話,這個部份就不需要了。 Service Role:給 AWS CodeDeploy 的服務本身用的。 EC2 Role:給跑在機器上 AWS CodeDeploy Agent 用的。 如同前面講的,IAM user 的部份有兩個要處理,一個是讓 CI 服務把檔案傳上 … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network, Programming, Security, Software | Tagged , , , , , , , , , , , , , | 1 Comment

Amazon Kinesis Firehole 可以先轉換再進 S3 了...

前陣子 Amazon Kinesis Firehole 推出來的新功能,可以轉完後再寫進 Amazon S3 (或是其他地方):「Amazon Kinesis Firehose can now prepare and transform streaming data before loading it to data stores」。 文件是「Amazon Kinesis Firehose Data Transformation」這份,開頭有說明是透過 Lambda 做到的: When you enable Firehose data transformation, Firehose buffers incoming data … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network | Tagged , , , , , , , , , | Leave a comment

Amazon S3 的改善

其實老牌的 Amazon S3 也改了不少東西:「Revolutionizing S3 Storage Management with 4 new features」。 其中的「S3 Object Tagging」讓管理可以透過 tag 處理,管理上會多一些選擇。而「S3 Analytics, Storage Class Analysis」則是可以分析存取的 pattern,藉此重新規劃 policy。 看到之前的同事說 CloudFront 要支援 2-tier cache,但卻還沒看到公告,不知道是怎麼樣的實作方式... 這對大型的 live streaming 幫助很大啊,後面的壓力會小很多。

Posted in AWS, CDN, Cloud, Computer, Murmuring, Network | Tagged , , , , , , , , , , , , | Leave a comment

Amazon Athena:直接在 S3 上進行分析

Amazon Athena 提供另外一種選擇,讓分析的便利性增加了許多:「Amazon Athena – Interactive SQL Queries for Data in Amazon S3」。 以往都需要開 server 起來分析,這個新的服務直接使用就好: Athena is based on the Presto distributed SQL engine and can query data in many different formats including JSON, CSV, log files, text with … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, Software | Tagged , , , , , , , , , , , , , | Leave a comment

Amazon S3 與 Glacier 的降價...

這次 AWS 對 storage 類調降了不少幅度,包括了 S3 與 Glacier:「AWS Storage Update – S3 & Glacier Price Reductions + Additional Retrieval Options for Glacier」。 S3 的部份降幅都不算低,要注意的是這次是 2016/12/01 開始,並沒有回朔: We are reducing the per-GB price for S3 Standard Storage in most AWS regions, … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network | Tagged , , , , , , | Leave a comment

CloudFront 支援 IPv6

Amazon CloudFront 宣佈支援 IPv6 了:「IPv6 Support Update – CloudFront, WAF, and S3 Transfer Acceleration」。 不只是 Amazon CloudFront 支援了 IPv6,還包括了使用 CloudFront 而建出的 AWS WAF 與 Amazon S3 Transfer Acceleration。 所以對外的部份都有 IPv6 了 (包括了 ELB),現在不支援的應該是內部機器與 Elastic IP address?

Posted in AWS, CDN, Cloud, Computer, Murmuring, Network, WWW | Tagged , , , , , , , , , , | Leave a comment

Amazon S3 開放 IPv6 存取

開放 IPv6 存取 Amazon S3 了:「Now Available – IPv6 Support for Amazon S3」。 對應的 Endpoint 是 http://BUCKET.s3.dualstack.REGION.amazonaws.com 與 http://s3.dualstack.REGION.amazonaws.com/BUCKET。 值得注意的是所有功能都開放 IPv6 了,包括 BitTorrent (還記得嗎 XDDD 如果忘記的,可以參考「Using BitTorrent with Amazon S3 這篇的說明」): S3 Feature Support – IPv6 support is available for … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network, P2P, WWW | Tagged , , , , , , , , | 1 Comment

Amazon S3 推出加速功能

Amazon S3 推出了新的加速功能,並且向更多地區提供 AWS Import/Export Snowball 服務:「AWS Storage Update – Amazon S3 Transfer Acceleration + Larger Snowballs in More Regions」。 其中的 Amazon S3 Transfer Acceleration 只要把本來的 BUCKET_NAME.s3.amazonaws.com 或是帶有地區的 BUCKET_NAME.s3-region.amazonaws.com 變成 BUCKET_NAME.s3-accelerate.amazonaws.com 就可以了,他會透過 CloudFront 的節點做 proxy,並且透過 AWS 內部最佳化過的網路傳輸。 由於這是定位為 Amazon S3 … Continue reading

Posted in AWS, CDN, Cloud, Computer, Murmuring, Network, WWW | Tagged , , , , , , , , , , , , , , , , , | Leave a comment

Amazon S3 與 HDFS 的速度差異

作者繼續以 A Billion Taxi Rides 的資料測試各種差異,這次測了 Amazon S3 與 HDFS 的速度差異:「A Billion Taxi Rides: AWS S3 versus HDFS」。 前半部都在說明測試的環境設定,重點在文章的最後面 (也就是「Benchmarking HDFS」這段),裡面有各種 query 的速度。HDFS 的速度大約是 Amazon S3 的 1.25 到 1.75 倍,作者給的結論是: Though the speed improvements using HDFS are considerable, S3 … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network, Software | Tagged , , , , , , , , , , , , , | Leave a comment