Tag: filesystem

Linux 版的 Dropbox 在十一月後將只支援 ext4...

有人收到 Dropbox 在十一月後不支援的訊息，在官方論壇上問起：「Dropbox client warns me that it'll stop syncing in Nov, why?」。

不過下面的人提到了很多 filesystem 都支援：(引用自維基百科的「Extended file attributes」)

In Linux, the ext2, ext3, ext4, JFS, Squashfs, Yaffs2, ReiserFS, Reiser4, XFS, Btrfs, OrangeFS, Lustre, OCFS2 1.6 and F2FS filesystems support extended attributes (abbreviated xattr) when enabled in the kernel configuration.

然後就吵起來了... 翻了一下，目前看起來還是沒打算支援 :o

好像是個換到 Syncthing 的機會，先前只丟了音樂在上面。來研究一下 Syncthing 上面要怎麼疊 encrypted filesystem 來放其他資料...

Amazon EFS 開放東京區使用，提供 Provisioned Throughput

兩篇 Amazon EFS 的消息：「Amazon Elastic File System (Amazon EFS) Available in Asia Pacific (Tokyo) Region」、「Amazon EFS Now Supports Provisioned Throughput」。

在 ap-northeast-1 等很久的功能終於上線了，另外本來 EFS 對速度是有限制的，現在則是提供付費方案讓你可以確保效能... (採用 credit 架構，不過一般是夠用的... 空間在 1TB 以下可以 burst 到 100MB/sec，參考「Throughput Modes」這篇的說明)

這樣有蠻多架構可以花錢來解了...

Amazon EFS 在首爾先開了...

Amazon EFS 其實就是 AWS 提供的雲端版 NFS 或是 CIFS，這對於某些應用來說很好用，尤其效能不是主要考量時，像是從外面買來的商用軟體需要找個空間放資料...

不過沒想到在亞洲第一個開的點居然是首爾 (i.e. ap-northeast-2)：「Amazon Elastic File System (Amazon EFS) Available in Asia Pacific (Seoul) Region」。

提到 AWS 的首爾區，台北過去的直線距離雖然比大阪與東京都近，但各家的路由都是從日本繞過去，不然其實首爾的點應該會是台灣的首選... 不曉得北京與上海到首爾的連線情況又是如何，找機會開台機器測試看看。

Amazon EFS 推出 File Sync 服務

先前 Amazon EFS 需要找台機器掛上去再同步 (無論是 EC2 的機器還是透過 VPN 將自己的機器接上去)，現在推出可以直接把檔案同步進去的服務了：「Sync Files to Amazon Elastic File System Quickly, Easily and Securely with EFS File Sync」。

不過不是所有提供 Amazon EFS 的區域都有，目前只有 us-east-1、us-east-2、us-west-2 以及 eu-west-1：

EFS File Sync is available in the US East (N. Virginia), US East (Ohio), US West (Oregon), and EU (Ireland) regions, with availability in the EU (Frankfurt) and Asia Pacific (Sydney) regions coming in December 2017.

另外這是有費用的，目前有提供的四區都是 USD$0.01/GB。

Amazon EFS 也能加密了

Amazon EFS 也支援使用 KMS 加密了，這對於一些要求「落地要加密」的 certification 方便不少：「New – Encryption of Data at Rest for Amazon Elastic File System (EFS)」。

不過東京還沒有 EFS 啊... (繼續敲碗)

Amazon EFS 在德國區開放使用

Amazon EFS 可以看作 NFS 的 SaaS 服務，前陣子宣佈加開德國區：「Amazon Elastic File System (Amazon EFS) Available in EU (Frankfurt) Region」。

加上原來的這些區：

Amazon EFS is also available in US East (N. Virginia), US East (Ohio), US West (Oregon), EU (Ireland), and Asia Pacific (Sydney).

唔，東京區什麼時候上啊...

在 ext4 上的 CCFS

在「Application crash consistency and performance with CCFS」這篇看到的東西。

CCFS 目標是拉高 ext4 的 data integrity，並且還是有高效能：

CCFS (the Crash-Consistent File System) is an extension to ext4 that restores ordering and weak atomicity guarantees for applications, while at the same time delivering much improved performance.

如果你需要絕對的 data integrity，你需要用 data=journal 確保資料可以在 system crash 後被 replay，預設的 data=ordered 是無法達到的，而 CCFS 也沒打算達到絕對的 data integrity，而是盡量達到。所以在測試上可以發現 CCFS 大幅改善了 data integrity：

而效能還提昇了 (喂喂)：

這真是太神奇了...

翻了一下好像沒 open source 出來 (至少現在沒看到)，來等看看有沒有人會實做出來...

把 HDFS 的 metadata 丟上 NewSQL

把 HDFS 的效能瓶頸 metadata server 的資料改到 NewSQL 上使得效能大幅提昇：「HopsFS: Scaling Hierarchical File System Metadata Using NewSQL Databases」。

In this paper, we introduce HopsFS, a next generation distribution of the Hadoop Distributed File System (HDFS) that replaces HDFS’ single node in-memory metadata service, with a distributed metadata service built on a NewSQL database.

尤其是在 Spotify 的測試，有 16～37 倍的改善 (應該是指碰到 HDFS 時的這塊，像是從外部拉到 HDFS 上的分析，而非整體的效率改善)：

Metadata capacity has been increased to at least 37 times HDFS’ capacity, and in experiments based on a workload trace from Spotify, we show that HopsFS supports 16 to 37 times the throughput of Apache HDFS.

論文裡面有提到用的是 MySQL Cluster 的 NDB (in-memory)：

HopsFS stores all metadata normalized in a highly available, in-memory, distributed, relational database called Network Database (NDB), a NewSQL storage engine for MySQL Cluster.

這樣應該會讓 Hadoop 的人有改善方向...

Amazon Elastic File System：NFSv4 as a service

在「Amazon Elastic File System – Shared File Storage for Amazon EC2」提到了 Amazon Elastic File System 這個新玩具：

Amazon EFS supports the Network File System version 4 (NFSv4) protocol, so the applications and tools that you use today work seamlessly with Amazon EFS.

居然冒出這功能，又多了個可以惡搞的工具...

目前的價錢是 USD$0.30/month/GB，需要 Preview 申請。這價錢不算便宜，但比起 Amazon S3 的反應時間應該快不少？