幹壞事是進步最大的原動力
先前在「Amazon EBS Snapshot 支援 Lifecycle Management」這邊提到 AWS 設計了 Data Lifecycle Manager，讓 EBS 磁碟可以自動產生 snapshot 並且管理保留份數，可以當作某種備份機制。
七月公告當時只開放了少數幾區：
Availability – Data Lifecycle Manager is available in the US East (N. Virginia), US West (Oregon), and Europe (Ireland) Regions.
剛剛發現在東京也已經可以用了？但好像沒看到有公告提過... 設下去看看會不會動好了。
AWS 開始陸陸續續在推出有 100Gbps 能力的 EC2 instance 了：「New – EC2 P3dn GPU Instances with 100 Gbps Networking & Local NVMe Storage for Faster Machine Learning + P3 Price Reduction」。
從「Amazon EC2 Instance Types」這邊可以看到先前只有 c5n.18xlarge 有支援 100Gbps 網路，現在推出的 p3dn.24xlarge 是第二個支援的...
另外是 P3 系列的降價消息，比較奇怪的是從 2018/12/06 開始生效，而不是從月初開始。另外區域與條件也有一些複雜，有常在用的人可以翻一下說明...
AWS 宣佈提昇了 Amazon EBS (gp2) 的效能：「Amazon EBS Increases Performance of General Purpose SSD (gp2) Volumes」。
本來上限是 10k IOPS，現在提升到 16k IOPS 了。另外最大傳輸速度也從 160 MB/sec 提升到 250 MB/sec：
Today we are announcing a 60% improvement in performance of General Purpose SSD (gp2) Volumes from 10,000 IOPS to 16,000 IOPS and from 160 MB/s to 250 MB/s of throughput per volume.
應該還是維持 3 IOPS per GB 的設計，但這對於想要用 gp2 堆效能的人來說算是好消息，可以用更大的空間堆出更多 IOPS 了... (像是「Percona 的人接受 AWS 的建議，重新測試了 Percona XtraDB Cluster 在 gp2 上的效能...」這篇)
AWS 打算要推出 S3 的新產品，單價更低但反應時間更長的儲存方案：「Coming Soon – S3 Glacier Deep Archive for Long-Term Data Retention」。
設計的客群是對法規有要求的情況：
It is designed for customers — particularly those in highly-regulated industries, such as the Financial Services, Healthcare, and Public Sectors — that retain data sets for 7-10 years or longer to meet regulatory compliance requirements.
看起來是那種 log 丟著就不會去動的情境... (Write once never read？XD)
AWS 推出了 S3 Object Lock，可以設定條件鎖住 S3 上的 object，以保護資料不被刪除：「AWS Announces Amazon S3 Object Lock in all AWS Regions」。
這個功能跟會計做帳的概念很像，也就是寫進去後就不能改，也不能刪除，保留一定時間後才移除掉：
You can migrate workloads from existing write-once-read-many (WORM) systems into Amazon S3, and configure S3 Object Lock at the object- and bucket-levels to prevent object version deletions prior to pre-defined Retain Until Dates or Legal Hold Dates.
AWS 提供有兩種模式，一個是 Governance mode，這個模式下可以設定某些 IAM 權限可以移除 S3 Object Lock。另外一個是 Compliance mode，這個模式下連 root account 都不能刪除：
S3 Object Lock can be configured in one of two modes. When deployed in Governance mode, AWS accounts with specific IAM permissions are able to remove object locks from objects. If you require stronger immutability to comply with regulations, you can use Compliance Mode. In Compliance Mode, the protection cannot be removed by any user, including the root account.
Amazon S3 推出了新的 Storage Class，後面直接用演算法分析 access pattern (所以要跑一陣子才會生效)，然後決定要放到 Standard 或是 Standard IA 裡：「Announcing S3 Intelligent-Tiering — a New Amazon S3 Storage Class」。
混了 Standard 與 Standard IA：
S3 Intelligent-Tiering stores objects in two access tiers: one tier that is optimized for frequent access and another lower-cost tier that is optimized for infrequent access.
然後連續 30 天沒有被存取的就會被丟到 Standard IA，如果有被存取的話就會被搬回來，而搬移的部份不用收費：
For a small monthly monitoring and automation fee per object, S3 Intelligent-Tiering monitors access patterns and moves objects that have not been accessed for 30 consecutive days to the infrequent access tier. There are no retrieval fees in S3 Intelligent-Tiering. If an object in the infrequent access tier is accessed later, it is automatically moved back to the frequent access tier. No additional tiering fees apply when objects are moved between access tiers within the S3 Intelligent-Tiering storage class.
從費用上可以看到演算法本身是有費用的，換算一下 1M objects 是 USD$2.5/month，好像還可以...
Monitoring and Automation, All storage / Month$0.0025 per 1,000 objects
不過有蠻多要注意的 pattern。像是這邊有提到 128KB 以下的檔案不會搬到 IA 上，但不知道算不算 Monitoring 的費用？
S3 Intelligent-Tiering has a minimum eligible object size of 128KB for auto-tiering. Smaller objects may be stored but will always be charged at the Frequent Access tier rates.
另外這邊講 S3 Intelligent-Tiering 的三十天也不知道是不是 Standard + Standard IA，或是分開算：
S3 Intelligent-Tiering, S3 Standard-IA, and S3 One Zone-IA storage are charged for a minimum storage duration of 30 days.
可以先觀望一下...
Amazon EFS 也要推出 IA (Infrequent Access) 版本了，Infrequent Access 指的是不常存取的資料：「Coming Soon – Amazon EFS Infrequent Access Storage Class」。
這剛好配合上很多人拿 Amazon EFS 來堆 log 的行為... AWS 是說有機會到省到 85%，不過應該是非常大的量才有機會有這個價錢？
EFS IA reduces storage costs for files not accessed every day, with savings up to 85% compared to the EFS Standard storage class.
其實用過 Amazon EFS 的人都對效能抱怨頗嚴重 (透過 NFS 有太多操作沒辦法 cache，於是 network latency issue 就出現了)，堆 log 或是當作跨機器的空間大概是目前的主流用法...
Amazon 居然推出對 Amazon S3 的 SFTP 服務了：「Introducing AWS Transfer for SFTP, a Fully Managed SFTP Service for Amazon S3」。
這個服務是掛在 AWS Transfer 的名義下 (AWS Transfer for SFTP)，這對老系統來說可以省一些事情，不過目前還不支援固定 IP，這樣不太能直接搬上去 (這種老系統常常都是用 IP firewall 擋著)：
Q: Can I use fixed IP addresses to access the SFTP server endpoint?
A: No. Fixed IP addresses that are usually used for firewall whitelisting purposes are currently not supported.
另外認證的部份看起來已經包括了常用的認證：
Q: Which compliance programs does AWS SFTP support?
A: AWS SFTP is PCI-DSS and GDPR compliant, and HIPAA eligible.
不過第一次的 SSH key 部份要怎麼取得啊... 有支援 SSHFP 嗎？
支援的區域蠻多的，對台灣使用常見的區域都有在第一波的清單內：
AWS SFTP is available in AWS Regions worldwide including US East (N. Virginia, Ohio), US West (Oregon, N. California), Canada (Central), Europe (Ireland, Paris, Frankfurt, London), and Asia Pacific (Tokyo, Singapore, Sydney, Seoul).
最後是價錢，上傳與下傳都要另外收費 (USD$0.04/GB)，另外服務本身的 endpoint 也要收費 (USD$0.3/hour，一個月大約會是 $216)，跟自己弄比起來好像不怎麼便宜，目前看起來主要是整合了 IAM 與其他機制... 不過這就是賣服務，看自己取捨就是了 :o
AWS 推出了實體伺服器版本的 Storage Gateway，以 Dell 的伺服器為底，上面安裝 AWS 的軟體：「New – AWS Storage Gateway Hardware Appliance」。
可以直接從 Amazon 上訂：「AWS Storage Gateway pre-loaded on a Dell EMC PowerEdge server」。
從網路界面是 em{1,2,3,4} 猜，裡面看起來應該不是 Linux Kernel 為底的系統：
對於使用虛擬機版本不夠用的使用者可以直接搬一台回去用... XD
來講個 Backblaze 放出來一陣子的功能：「What’s New In B2: Application Keys + Java SDK」。
B2 的價位很便宜 (單位成本比 S3 低不少)，加上前 10 GB 屬於 free tier 不收費，拿來丟一些資料還蠻方便的。
以往的 B2 在 API 操作只提供一把 master key，安全性上需要很小心，只要被攻陷就直接打穿了，現在則是提供 application key 操作，但不像 AWS 的 IAM 那樣可以在一個 key 上設很多權限。B2 提供的架構很簡單，只能針對一個 bucket 設定權限。這應該是解決 B2 最常見的情境？也就是需要在各機器上分別備份...
另外摸索了一陣子後才確認用法，在文章的 comment 有提到：
You use the ApplicationKeyID with the ApplicationKey, and not the account ID, per the b2_authorize_account documentation.
In a sense, the master key is a special case of this: the AccountID is the ‘key ID’ for the master key.
也就是產生 application key 的時候會給你 secret key 以外，也會給你另外一組 key id，要用這兩個傳入呼叫 API，所有的操作都會受到限制。
關於備份的工具，大家蠻常用 rclone 的，主要是因為他可以加密再丟上去，讓 Backblaze 沒辦法直接存取內容。而 rclone 在 Ubuntu 18.04 可以 apt 直接裝，先前的版本則需要透過 snap 裝 (實在不愛 snap...)，不過看起來還需要新版才會支援 application key。
過陣子來把現有的 master key 換一換...