Tag Archives: s3

用 Percona Toolkit 備份的 MySQL 可以直接還原到 Amazon RDS 上

AWS 宣佈 Amazon RDS for MySQL 支援從 Percona Toolkit 備份出來的檔案還原了:「Easily restore an Amazon RDS MySQL database from your MySQL backup」。 Starting today you can easily restore a new Amazon RDS for MySQL database instance from a backup of your existing … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, MySQL, Network, Service, Software|Tagged , , , , , , , , , , , |Leave a comment

Amazon Aurora 的論文

AWS 老大介紹自家產品 Amazon Aurora 的論文:「Weekend Reading: Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases.」,論文在「Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases」這邊可以取得。 Amazon Aurora 算是用很特別的架構達到高可靠架構的需求,主要用了一堆已經很強大的底層,像是用 Amazon S3 來交換一堆資料。 不過 AWS 在論文裡的比較的事情其實並不合現實,因為現在的 MySQL 在做分散式架構時的方式其實並不一樣 (i.e. Galera Cluster),論文裡提的很多比較的項目,其實都不是其他方式會遇到的問題,所以就看看就好,畢竟是在推銷自家產品...

Posted in AWS, Cloud, Computer, Database, Murmuring, MySQL, Network, PostgreSQL, Software|Tagged , , , , , , , , , , , |Leave a comment

用 Amazon Elasticsearch 看 VPC Flow Logs

在「How to Visualize and Refine Your Network’s Security by Adding Security Group IDs to Your VPC Flow Logs」這篇雖然是講特定功能,但還是把怎麼架設從頭到尾都講了一次... 比較特別的幾張圖: 然後再回來看怎麼串:

Posted in AWS, Cloud, Computer, Murmuring, Network, Search Engine, Security, Software|Tagged , , , , , , , , , , , , , |Leave a comment

AWS Storage Gateway 的新功能:File Gateway

AWS Storage Gateway 推出新功能 File Gateway:「File Interface to AWS Storage Gateway」。 可以讓使用者在前面用 NFS,後面實際接的是 Amazon S3: After you set it up in your data center or in the cloud, your configured buckets will be available as NFS mount points. Your application … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network, Software|Tagged , , , , , , , , , , , |Leave a comment

Amazon Redshift 可以讀 S3 裡被 KMS 加密過的資料了

清資料時發現支援了:「Amazon Redshift now supports encrypting unloaded data using Amazon S3 server-side encryption with AWS KMS keys」: The Amazon Redshift UNLOAD command now supports Amazon S3 server-side encryption using an AWS KMS key. 這樣資料丟上 Amazon S3 時可以透過 AWS KMS 加密保存,而 Amazon … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, Security, Software|Tagged , , , , , , , , , |Leave a comment

CodeDeploy 的權限設定...

這陣子在弄 AWS CodeDeploy,調整了半天才把權限壓低到合理的範圍 (AWS 給的預設值還是有點大),記錄下來之後會比較好找... 在權限部份,AWS CodeDeploy 應該有三個權限要設定: IAM user:給 CI 跑完後丟上 Amazon S3 並且呼叫 AWS CodeDeploy 佈署用的,像是 Travis CI 或是之類的服務。但如果是手動到 web console 觸發的話,這個部份就不需要了。 Service Role:給 AWS CodeDeploy 的服務本身用的。 EC2 Role:給跑在機器上 AWS CodeDeploy Agent 用的。 如同前面講的,IAM user 的部份有兩個要處理,一個是讓 CI 服務把檔案傳上 … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network, Programming, Security, Software|Tagged , , , , , , , , , , , , , |1 Comment

Amazon Kinesis Firehole 可以先轉換再進 S3 了...

前陣子 Amazon Kinesis Firehole 推出來的新功能,可以轉完後再寫進 Amazon S3 (或是其他地方):「Amazon Kinesis Firehose can now prepare and transform streaming data before loading it to data stores」。 文件是「Amazon Kinesis Firehose Data Transformation」這份,開頭有說明是透過 Lambda 做到的: When you enable Firehose data transformation, Firehose buffers incoming data … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network|Tagged , , , , , , , , , |Leave a comment

Amazon S3 的改善

其實老牌的 Amazon S3 也改了不少東西:「Revolutionizing S3 Storage Management with 4 new features」。 其中的「S3 Object Tagging」讓管理可以透過 tag 處理,管理上會多一些選擇。而「S3 Analytics, Storage Class Analysis」則是可以分析存取的 pattern,藉此重新規劃 policy。 看到之前的同事說 CloudFront 要支援 2-tier cache,但卻還沒看到公告,不知道是怎麼樣的實作方式... 這對大型的 live streaming 幫助很大啊,後面的壓力會小很多。

Posted in AWS, CDN, Cloud, Computer, Murmuring, Network|Tagged , , , , , , , , , , , , |Leave a comment

Amazon Athena:直接在 S3 上進行分析

Amazon Athena 提供另外一種選擇,讓分析的便利性增加了許多:「Amazon Athena – Interactive SQL Queries for Data in Amazon S3」。 以往都需要開 server 起來分析,這個新的服務直接使用就好: Athena is based on the Presto distributed SQL engine and can query data in many different formats including JSON, CSV, log files, text with … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, Software|Tagged , , , , , , , , , , , , , |Leave a comment

Amazon S3 與 Glacier 的降價...

這次 AWS 對 storage 類調降了不少幅度,包括了 S3 與 Glacier:「AWS Storage Update – S3 & Glacier Price Reductions + Additional Retrieval Options for Glacier」。 S3 的部份降幅都不算低,要注意的是這次是 2016/12/01 開始,並沒有回朔: We are reducing the per-GB price for S3 Standard Storage in most AWS regions, … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network|Tagged , , , , , , |Leave a comment