Tag: storage

Home » Posts tagged "storage"

Amazon S3 推出新的等級 One Zone-IA

Amazon S3 有 RRS，提供給那些掉了可以重新產生的資料使用 (像是縮圖)；另外也有 IA，提供給不常存取的資料使用。現在推出的這個等級結合了兩者，使得價錢更低：「Amazon S3 Update: New Storage Class and General Availability of S3 Select」。

New S3 One Zone-IA Storage Class – This new storage class is 20% less expensive than the existing Standard-IA storage class. It is designed to be used to store data that does not need the extra level of protection provided by geographic redundancy.

AWS, Cloud, Computer, Murmuring, Network, ServiceNo Comment

Percona 的人接受 AWS 的建議，重新測試了 Percona XtraDB Cluster 在 gp2 上的效能...

去年年底的時候 Percona 的人在 AWS 上測試 Percona XtraDB Cluster 的效能，尤其是針對底層應該選擇哪種 EBS 的部分給了一些建議。可以參考先前寫的「Percona 分析在 AWS 上跑 Percona XtraDB Cluster 的效能 (I/O bound)」這篇。

當時的建議是用 io1，雖然是比較貴，但對於效能比較好。

而後來 Percona 的人收到 AWS 工程師的建議，可以用另外一個方式，可以在 gp2 上拉出類似的效能，但成本會比 io1 低不少：「Percona XtraDB Cluster on Amazon GP2 Volumes」。

這個方式是利用 gp2 會依照空間大小，計算可用的 IOPS。在官方的文件裡是這樣描述 gp2 的效能 (IOPS)：

General Purpose SSD (gp2) volumes offer cost-effective storage that is ideal for a broad range of workloads. These volumes deliver single-digit millisecond latencies and the ability to burst to 3,000 IOPS for extended periods of time. Between a minimum of 100 IOPS (at 33.33 GiB and below) and a maximum of 10,000 IOPS (at 3,334 GiB and above), baseline performance scales linearly at 3 IOPS per GiB of volume size. AWS designs gp2 volumes to deliver the provisioned performance 99% of the time. A gp2 volume can range in size from 1 GiB to 16 TiB.

在這個前提下，需要 10000 IOPS 的效能會需要 3.3TB 以上的空間，所以 Percona 就被 AWS 的工程師建議直接拉高空間重新測試：

After publishing our material, Amazon engineers pointed that we should try GP2 volumes with the size allocated to provide 10000 IOPS. If we allocated volumes with size 3.3 TiB or more, we should achieve 10000 IOPS.

首先是測出來的效能，可以看到沒有太大差異：

接下來就比較儲存成本，大約是 io1 版本的一半價錢：

如上面文件中提到的，gp1 不完全保證效能，但統計出來經常能夠提供出 3 IOPS/GB 的效能。而 io1 則是保證效能，不太需要擔心效能不穩定的問題。就是這個差異，反應到成本上面就有蠻大的差距。善用這點設計系統，應該會對整體成本有蠻大的幫助... (但對 latency 就未必了，尤其是 P99 之類的數值)

算是另外一種搞法讓大家可以考慮...

AWS, Cloud, Computer, Database, Hardware, Murmuring, MySQL, Network, Service, SoftwareNo Comment

Backblaze 的 2017 年硬碟年度報告

Backblaze 照慣例發表了 2017Q4 與 2017 全年的硬碟報告出來了：「Backblaze Hard Drive Stats for 2017」。

最重要就這三張圖表，第一張是 2017Q4 資料，第二張是從 2013/04 到 2017/12 的資料，第三張是這三年的資料 (2015/2016/2017)：

我先說一下結論，因為這幾年幾乎都只採購 Seagate 與 HGST 的硬碟，所以要用他們的資料判斷 WD 或 Toshiba 的硬碟已經沒有價值了。

唯一有價值的資料是 HGST 的硬碟比 Seagate 好不少，要做出其他結論的樣本數都不夠。

Computer, Hardware, Murmuring, Network, ServiceNo Comment Cassandra, Computer, Database, Movie, Murmuring, Network, Programming, Recreation, Service, Software, TelevisionNo Comment

AWS 提昇了 Amazon EBS 能提供的效能上限

AWS 宣佈 Amazon EBS 可以提供的效能往上提高了 (這邊講的是 Provisioned IOPS SSD，代號 io1)：「Amazon EBS Improves Performance for io1 Volumes」。

單一 volume 的 IOPS 從 20K 變成 32K，thoughput 從 320MB/sec 變成 500MB/sec：

Today we are announcing an improvement in performance of Provisioned IOPS SSD (io1) Volumes from 20,000 IOPS to 32,000 IOPS and from 320 MB/s to 500 MB/s of throughput per volume.

應該是科技的進步帶動的 XD

AWS, Cloud, Computer, Hardware, Murmuring, Network, ServiceNo Comment

Mozilla 實做百度發表的 Speech-To-Text 引擎 Deep Speech

在 Hacker News 上看到 Mozilla 在 GitHub 上的 mozilla/DeepSpeech 這個專案，用 TensorFlow 實做了百度的「Deep Speech: Scaling up end-to-end speech recognition」論文：

A TensorFlow implementation of Baidu's DeepSpeech architecture

語音轉文字的方案，Mozilla 開專案實做出來了...

這程式碼需要安裝 Git Large File Storage 才能完整下載包含訓練資料的部份：

Manually install Git Large File Storage, then clone the repository normally:
git clone https://github.com/mozilla/DeepSpeech

而目前已經有的資料來自於 Mozilla 另外一個專案「Common Voice」：

The Common Voice project is Mozilla's initiative to help teach machines how real people speak.

Common Voice 這個專案目前只有英文，網頁上就可以參與 validation 過程...

Computer, Library, Murmuring, SoftwareNo Comment

Percona 分析在 AWS 上跑 Percona XtraDB Cluster 的效能 (I/O bound)

Percona 的人分析了在 Amazon EC2 上跑 Percona XtraDB Cluster (PXC) 效能 (I/O bound)：「Best Practices for Percona XtraDB Cluster on AWS」。

先看他們做出來的圖：

直接跳到結論的地方。如果資料可以掉，用 i3 本地 storage 的效能是最好的，如果要資料不能掉，用 EBS 的 Provisioned IOPS SSD (io1) 的效能會比 General Purpose (gp2) 好很多。

另外 instance type 的選擇上，避免用 {i3,r4}.large，因為測試出來發現 {i3,r4}.xlarge 的效能好不只一倍。

不過 Aurora 的 Multi-master 已經在 Preview 了啊，如果 Percona 的人拿到帳號的話，應該會有單位成本的效能比較可以看...

AWS, Cloud, Computer, Database, Murmuring, MySQL, Network, Software1 Comment

Amazon S3 的流量，以及 S3 與 Glacier 都推出 Select 功能

Twitter 上看到會場的照片，Amazon S3 單一 region 就有 37 Tb/sec 的量：

在這種量下面對 DDoS 沒什麼感覺 XDDD

另外是 Amazon S3 與 Amazon Glacier 都推出了 Select 功能：「S3 Select and Glacier Select – Retrieving Subsets of Objects」。

看示範的程式碼就可以看出用途了，原文中間那段有 sytax error，我這邊就幫忙修掉了：

handler = PrintingResponseHandler()
s3 = boto3.client('s3')
response = s3.select_object_content(
    Bucket="super-secret-reinvent-stuff",
    Key="stuff.csv",
    SelectRequest={
        'ExpressionType': 'SQL',
        'Expression': 'SELECT s._1 FROM S3Object AS s',
        'InputSerialization': {
            'CompressionType': 'NONE',
            'CSV': {
                'FileHeaderInfo': 'IGNORE',
                'RecordDelimiter': '\n',
                'FieldDelimiter': ',',
            }
        },
        'OutputSerialization': {
            'CSV': {
                'RecordDelimiter': '\n',
                'FieldDelimiter': ',',
            }
        }
    }
)

這樣可以大幅降低 I/O，節省成本：

Glacier Select 也是類似的想法，不需要整包拉出來再處理，可以在一開始就設定條件。

AWS, Cloud, Computer, Database, Murmuring, Network, Programming, SoftwareNo Comment

Amazon Lightsail 推出 Block Storage 與 Load Balancer

Amazon Lightsail 推出了 Block Storage (11/14) 與 Load Balancer (11/29)：「Introducing additional block storage for Amazon Lightsail」、「Amazon Lightsail adds load balancers with integrated certificate management」。

兩個是不同時間點發表的，當時懶的寫所以這次一起寫...

Block Storage 有不少 VPS 都有提供了，像是 Linode 的「Linode Block Storage (Fremont beta)」(雖然還在 beta)、DigitalOcean 的「Storage on DigitalOcean | Highly available Block Storage」以及 Vultr 的「High Performance and Cheap Block Storage - Vultr.com」。

AWS 算是很早就有這個服務 (Amazon EBS)，這邊應該只是把系統整合進來...

另外一個是這幾天推出的 Load Balancer，目前應該只有 Linode 的「Ensure High-Availability with NodeBalancers - Linode」比較知名。AWS 上的 ELB 有不少選擇可以用 (ELB Classic、ALB 以及 NLB)，不過公告裡沒特別提到... 比較特別的是提供免費的 SSL Certificate 吧？這在其他家主要得靠 Let's Encrypt 來做，在 AWS 上應該是整合了 ACM？

AWS, Cloud, Computer, Murmuring, Network, Security, Service, WWWNo Comment

Amazon EC2 再推出兩款新機種：M5 與 H1

Amazon EC2 的新機種發表：「M5 – The Next Generation of General-Purpose EC2 Instances」、「H1 Instances – Fast, Dense Storage for Big Data Applications」。

M5 是 M4 的後續機種 (General Purpose)，所以就沒什麼特別好講的了... H1 則是與 D2 接近，而且也應該算是後繼的機種 (Dense Storage)，看了看內容感覺只是個升級 (雖然給他一個新的 family type)，所以也沒什麼好講...

然後支援的地區都很少...

M5 三區：

You can launch M5 instances today in the US East (Northern Virginia), US West (Oregon), and EU (Ireland) Regions in On-Demand and Spot form (Reserved Instances are also available), with additional Regions in the works.

H1 四區：

H1 instances are available today in the US East (Northern Virginia), US West (Oregon), US East (Ohio), and EU (Ireland) Regions.

產品發表會固定會有的升級 XD

AWS, Cloud, Computer, Hardware, Murmuring, NetworkNo Comment

Recent Comments

Archives

Blogroll