Tag Archives: storage

DigitalOcean 也開始推出 Object Storage

Posted on June 25, 2017 by Gea-Suan Lin

DigitalOcean 也推出了 Object Storage：「Introducing Object Storage」。 不過價錢沒有先公佈啊... 這年頭這種東西沒有比 Amazon S3 便宜，或是有特殊功能的話，也別進來玩了。 以 DigitalOcean 最近的動作來看，還是先放置好了，等價錢出來再來決定要怎麼做 XDDD

Posted in Cloud, Computer, Murmuring, Network, Service | Tagged , , , | Leave a comment

Amazon Aurora 可以 clone 了...

Posted on June 17, 2017 by Gea-Suan Lin

Amazon Aurora 可以 clone 複製資料庫了：「Amazon Aurora Introduces Database Cloning Capabilities」。 而且是 COW 架構 (Copy on write)，所以複製出來的部份不需要額外付儲存費用，只有修改的部份才要付費，這點相當殺啊： A cloning operation does not incur any storage charges. You will only be charged for additional storage space if you make data changes. 這對於「測試」這件事情變出不少變化可以用...

Posted in AWS, Cloud, Computer, Database, Murmuring, MySQL, Network, Service, Software | Tagged , , , , , , , , , , , , , | Leave a comment

Reddit 在處理 Page View 的方式

Posted on May 28, 2017 by Gea-Suan Lin

Reddit 說明了他們如何處理 pageview：「View Counting at Reddit」。 以 Reddit 的規模有提到兩個重點，第一個在善用 Redis 的 HyperLogLog 這個資料結構，當量大的時候其實可以允許有微小的誤差： The amount of memory varies per implementation, but in the case of this implementation, we could count over 1 million IDs using just 12 kilobytes of space, … Continue reading →

Posted in Cassandra, Computer, Database, Murmuring, Network, Programming, Service, Software | Tagged , , , , , , , , , , , , , , , , , , , | Leave a comment

Amazon Aurora 的論文

Posted on May 24, 2017 by Gea-Suan Lin

AWS 老大介紹自家產品 Amazon Aurora 的論文：「Weekend Reading: Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases.」，論文在「Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases」這邊可以取得。 Amazon Aurora 算是用很特別的架構達到高可靠架構的需求，主要用了一堆已經很強大的底層，像是用 Amazon S3 來交換一堆資料。 不過 AWS 在論文裡的比較的事情其實並不合現實，因為現在的 MySQL 在做分散式架構時的方式其實並不一樣 (i.e. Galera Cluster)，論文裡提的很多比較的項目，其實都不是其他方式會遇到的問題，所以就看看就好，畢竟是在推銷自家產品...

Posted in AWS, Cloud, Computer, Database, Murmuring, MySQL, Network, PostgreSQL, Software | Tagged , , , , , , , , , , , | Leave a comment

AWS Storage Gateway 的新功能：File Gateway

Posted on May 1, 2017 by Gea-Suan Lin

AWS Storage Gateway 推出新功能 File Gateway：「File Interface to AWS Storage Gateway」。 可以讓使用者在前面用 NFS，後面實際接的是 Amazon S3： After you set it up in your data center or in the cloud, your configured buckets will be available as NFS mount points. Your application … Continue reading →

Posted in AWS, Cloud, Computer, Murmuring, Network, Software | Tagged , , , , , , , , , , , | Leave a comment

Backblaze B2 的降價...

Posted on April 30, 2017 by Gea-Suan Lin

Backblaze B2 是個 cloud storage 服務 (類似於 Amazon S3)，最近宣布降價：「Backblaze B2 Drops Download Price By 60%」。 這次降價是降流量的部分，從 USD$0.05/GB 降到 USD$0.02/GB。參考去年的價錢：「Cheapest Secure Cloud Storage Provider: B2」。 不知道可以傳多快，另外是工具的豐富度比 S3 還是差不少 :o

Posted in Cloud, Computer, Murmuring, Network | Tagged , , , , , , | Leave a comment

Amazon Redshift 壓縮率的改善

Posted on April 8, 2017 by Gea-Suan Lin

Amazon Redshift 對壓縮率的改善：「Data Compression Improvements in Amazon Redshift Bring Compression Ratios Up to 4x」。 首先是引入了 Zstandard： First, we added support for the Zstandard compression algorithm, which offers a good balance between a high compression ratio and speed in build 1.0.1172. … Continue reading →

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, Software | Tagged , , , , , , , , , , , , , , , , , | Leave a comment

Amazon EC2 推出 I3 系列機器

Posted on February 24, 2017 by Gea-Suan Lin

Amazon EC2 推出使用 NVMe SSD 的機器，I3 系列：「Now Available – I3 Instances for Demanding, I/O Intensive Applications」。 以東京區的價錢來看，r4.16xlarge 與 i3.16xlarge 都是 64 vCPU 與 488GB RAM。不一樣的地方只有兩個： 第一個是 r4 只有 195 vCPU，而 i3 有 200 vCPU，快了一些。 第二個是 i3 多了 8 個 1900 … Continue reading →

Posted in AWS, Cloud, Computer, Hardware, Murmuring, Network | Tagged , , , , , , , , , , , , , | Leave a comment

Amazon S3 的改善

Posted on December 1, 2016 by Gea-Suan Lin

其實老牌的 Amazon S3 也改了不少東西：「Revolutionizing S3 Storage Management with 4 new features」。 其中的「S3 Object Tagging」讓管理可以透過 tag 處理，管理上會多一些選擇。而「S3 Analytics, Storage Class Analysis」則是可以分析存取的 pattern，藉此重新規劃 policy。 看到之前的同事說 CloudFront 要支援 2-tier cache，但卻還沒看到公告，不知道是怎麼樣的實作方式... 這對大型的 live streaming 幫助很大啊，後面的壓力會小很多。

Posted in AWS, CDN, Cloud, Computer, Murmuring, Network | Tagged , , , , , , , , , , , , | Leave a comment

Dropbox 在全球建機房加速...

Posted on November 23, 2016 by Gea-Suan Lin

Dropbox 為了加速傳輸，在全球到處建機房降低 latency：「Infrastructure Update: Pushing the edges of our global performance」。 就他們測試發現，透過 proxy server 降低 latency 的效果很不錯： We’ve tested and applied this configuration in various markets in Europe and Asia. In France, for example, median download speeds are 40% faster … Continue reading →

Posted in Computer, Murmuring, Network | Tagged , , , , , , , | Leave a comment