幹壞事是進步最大的原動力
Bcachefs 是 Linux 下一個新的 filesystem (但也發展了好幾年)，剛剛看到進入 Linux Kernel 6.7 的主線了：「Bcachefs Merged Into The Linux 6.7 Kernel」。
看起來沒搭上 6.6 的列車 (前幾天出的，2023/10/30)，但以目前 Linux Kernel 的步調來看，6.7 應該是兩個月後就會釋出，Ubuntu 有機會在明年的 24.04 內建...
從官網列出來的功能可以知道，Bcachefs 實作了很多現代 filesystem 會發展的功能，像是 compression、encryption 以及 snapshots，另外底層也實作了 checksum 與 copy on write。
這樣看起來，Bcachefs 目前在 Linux 上主要的競爭對象應該會是 OpenZFS。真正的比較應該會等到 6.7 的 rc 版本就會有人下去測，到時候再看看，甚至看看有沒有機會取代 ext4 變成預設的 filesystem。
八月底的時候看到「ReiserFS Officially Declared "Obsolete"」這則新聞，這個有進到 Linux kernel 的是 Reiser3，不是後來有人接手但沒有進到 Linux kernel 裡的 Reiser4。
在 5.18 的時候先標成 deprecated：「Linux 5.18 Moves Ahead With Deprecating ReiserFS」。
這次的 6.6 則是標成 Obsolete，逐步從 Linux kernel 裡面拔除：
As part of updates to the older file-system drivers for Linux 6.6, the ReiserFS file-system is no longer marked as "Supported" but is officially treated as "Obsolete" within the Linux kernel.
目前各大 Linux 套件的預設檔案系統應該都是 ext4，另外有些特殊情境下 XFS 也蠻好用的 (像是資料庫)，對於追求極限性能的情境下比 ext4 快一些。
憑著印象，加上查了說明確認，ResierFS 應該是在小檔時會有優勢：
Compared with ext2 and ext3 in version 2.4 of the Linux kernel, when dealing with files under 4 KiB and with tail packing enabled, ReiserFS may be faster.
不過這是前 SSD 時代的產物了，但也沒有看到後續的比較了...
前陣子在 Hacker News 上看到「I only lost 10 minutes of data, thanks to ZFS (mastodon.social)」這篇，講他的硬碟故障，但是靠著 zrepl 每十分鐘將本地的 ZFS filesystem 同步一次到 NAS 上，所以他只掉了十分鐘的資料的故事...
Hacker News 上最熱的討論居然是在討論 WD 與 SanDisk 的 SSD disk issue，反倒不是這個想法或是 zrepl 這個工具...
看了一下這個方法還蠻有趣的，有需求的人好像是可以這樣搞沒錯...
Anyway，想當初 OpenZFS 剛出的時候，因為 license 是 CDDL 而被 FSF 認為無法與 GPLv2 相容，所以 Linux 這邊無法內建或是散佈 binary，想玩 ZFS 就得用 OpenSolaris 或是 porting 到 FreeBSD 的版本。
結果後來 Ubuntu 的法律顧問認為可以透過 kernel module (binary) 的方式散佈相容，在 Ubuntu 16.04 包進去後就開始盛行了...
而且當年記憶體 overhead (GB 等級) 要求對於 desktop 是個不能忽略的問題，現在回頭來看也不是大問題了，桌機與筆電常常都是 16GB+ 在跑...
三月的時候提到 AWS 搞出了自己的 Amazon S3 的 FUSE 實作：「AWS 官方推出了自己的 Amazon S3 FUSE 套件」，現在 GA 了：「Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads」。
看起來 s3fs-fuse 還是一直有在更新，然後翻了翻好像沒看到兩者的比較... (可能是之前 Mountpoint for Amazon S3 在 alpha 版的關係？)
記得這個功能拿來塞些東西還蠻好用的...
SQLite 自己搞了一套使用雲端空間為儲存空間的技術：「Cloud Backed SQLite」，對應的 Hacker News 討論可以看「Cloud Backed SQLite (sqlite.org)」這邊。
他說目前支援 Azure Blob Storage 與 Google Cloud Storage，這點比較有趣，沒有提到 Amazon S3：
The system currently supports Azure Blob Storage and Google Cloud Storage. It also features an API that may be used to implement support to other cloud storage systems.
跟之前的 sql.js 專案不太一樣，sql.js 的作法是用 HTTP range 存取現有的 SQLite 資料庫檔案，而這次的這個專案則是改變底層架構，去配合雲端環境的特點。
雲端的 storage 因為每個 access 都會有很高的 latency (相比於本地的空間)，所以要避免太多 random access，儘量以 sequential access 為主，這個特性像是以前在處理傳統磁頭硬碟時的技巧。
另外一個特點是雲端空間有多檔案的概念，所以也可以利用這個方式設計資料結構。
還蠻有趣的計畫，而且是官方搞的...
看到「Soft updates (softdep) disabled for future VFS work」這篇，OpenBSD 決定拔掉 Soft updates。
第一次接觸到 soft updates 是在 FreeBSD 上，應該也是快 20 年了，用機械硬碟的時候有沒有 soft updates 寫入速度差蠻多的，但不知道對於現在 SSD 滿街跑的情況如何，這次拔掉看起來也沒有講原因，後續可以看一下報導...
Journaling 是另外一個技巧，查資料的時候還查到有 SU+J 的組合技，但太久沒用 FreeBSD 了，現在都在 Linux ecosystem 了...
Hacker News Daily 上看到這則：「Try: run a command and inspect its effects before changing your live system (github.com/binpash)」，這是一個 GitHub 專案：「binpash/try」。
整包軟體意外的簡單，是一隻 shell script，透過 OverlayFS 取得改變的部分：
try lets you run a command and inspect its effects before changing your live system. try uses Linux's namespaces (via unshare) and the overlayfs union filesystem.
記得 OverlayFS 在 Docker 用的很多，所以穩定性應該是沒什麼問題，不過專案開頭也有提到，這只是把 filesystem 層拆出來，不是很嚴謹的 sandbox 環境，像是 /dev 這邊的東西還是有穿透性，不要跑不信任的程式：
Please note that try is a prototype and not a full sandbox, and should not be used to execute commands that you don't already trust on your system, (i.e. devices in /dev are mounted in the sandbox, and network calls are all allowed.) Please do not attempt any commands that will remove everything in /dev or write zeros to your disks.
我覺得這個很適合拿來跑各種 install.sh 這種東西？有些 install.sh 不知道塞了多少垃圾 (像是 .bashrc 或是 .profile 都有可能會被動)，可以知道有哪些檔案要清會比較好。
把裡面的 try 這個檔案丟到自己的可執行目錄就裝好了，像是 ~/.local/bin 或是 ~/bin 之類的地方，看你的 $PATH 設定決定。
另外也可以從 subcommands 裡面的指令看到你可以用 try explore 啟動 shell 跑進去看：
Subcommands: try summary DIR show the summary for the overlay in DIR try commit DIR commit the overlay in DIR try explore DIR start a shell inside the overlay in DIR
看到「Mountpoint for Amazon S3」這個專案，AWS 自己推出了自己的 Amazon S3 FUSE 套件。Hacker News 上也有一些討論：「Mountpoint – file client for S3 written in Rust, from AWS (github.com/awslabs)」。
Amazon S3 的價錢比其他 AWS 提供的 storage 都便宜不少。以美東第一區 us-east-1 來說，S3 是 $0.023/GB，而 EBS (gp3) 要 $0.08/GB，即使是 EBS (st1) 也要 $0.045/GB。
S3 相較於 EBS 來說，多了 API call 的費用，所以對於不會產生大量 API call 的應用來說 (像是常常會寫很大包的資料到檔案裡)，透過 FUSE 操作 Amazon S3 可以讓現有的套裝軟體或是程式直接跑上去。
另外一個常見的應用是讓套裝軟體或是現成的程式可以讀取 S3 的資料。
之前這類應用馬上會想到的專案是 s3fs-fuse，這個專案很久了，大家也都知道多人寫入的部份會是痛點。
這次 AWS 自己出來做的事情有點重工，看起來他想做的事情 s3fs-fuse 都解的差不多了，目前看起來唯一的賣點應該只有 Rust-based，但 s3fs-fuse 主要是 C++，其實也沒差到哪裡：
Mountpoint for Amazon S3 is optimized for read-heavy workloads that need high throughput. It intentionally does not implement the full POSIX specification for file systems.
目前專案還是 alpha release，不確定專案的方向到底是什麼...
在 Hacker News 上看到 Btrfs 的改善消息：「Btrfs With Linux 6.2 Bringing Performance Improvements, Better RAID 5/6 Reliability」，對應的討論在「 Btrfs in Linux 6.2 brings performance improvements, better RAID 5/6 reliability (phoronix.com)」這邊。
因為 ext4 本身很成熟了，加上特殊的需求反而會去用 OpenZFS，就很久沒關注 Btrfs 了，這次看到 Btrfs 在 Linux 6.2 上的改進剛好可以重顧一下情況。
看起來是針對 RAID 模式下的改善，包括穩定性與效能，不過看起來是針對 RAID5 的部份多一點。
就目前的「情勢」看起來，Btrfs 之所以還是有繼續被發展，主要還是因為 OpenZFS 的授權條款是 CDDL，與 Linux kernel 用的 GPLv2 不相容，所以得分開維護。
但 OpenZFS 這邊的功能性與成熟度還是比 Btrfs 好不少，以現階段來說，如果架構上可以設計放 OpenZFS 的話應該還是會放 OpenZFS...
這次 re:Invent 關於 Amazon EFS 推出來的新東西，目前有看到兩個，第一個是「New – Announcing Amazon EFS Elastic Throughput」，介紹 Elastic Throughput。
傳統的 Busrting Throughput 模式會依照你的使用空間分配對應的速度，基礎是 50MB/sec per TB 計算，但可以 burst 到 100MB/sec per TB：
When burst credits are available, a file system can drive throughput up to 100 MiBps per TiB of storage, up to the Amazon EFS Region's limit, with a minimum of 100 MiBps. If no burst credits are available, a file system can drive up to 50 MiBps per TiB of storage, with a minimum of 1 MiBps.
而 Elastic Throughput 是一種高效能的模式，可以提供 3GB/sec 的讀取速度與 1GB/sec 的寫入速度：
Elastic Throughput allows you to drive throughput up to a limit of 3 GiB/s for read operations and 1 GiB/s for write operations per file system in all Regions.
但這然是有代價的，Elastic Throughput 的計費方式按照傳輸量計算，以 us-east-1 的計價來說，讀取是 $0.03/GB，寫入是 $0.06/GB。
粗粗算了一下，比較適合短時間要很大量快速讀寫的應用。如果是不在意時間的 (像是 cron job) 就不需要 Elastic Throughput... 然後 home 目錄拿來用可能是個不錯的選擇？
第二個推出的項目是不用錢的，是 Amazon EFS 效能的改進，降低 latency：「AWS announces lower latencies for Amazon Elastic File System」。
首先是讀取的效能提昇，以敘述看起來像是加上了 cache 層產生的效能改進：
Amazon EFS now delivers up to 60% lower read operation latencies when working with frequently-accessed data and metadata.
另外是對小檔寫入有做處理：
In addition, EFS now delivers up to 40% lower write operation latencies when working with small files (<64 KB) and metadata.
不過這些改進只有在新的 EFS 才會有，而且這波只有 us-east-1 上：
These enhancements are available automatically for all new EFS file systems using General Purpose mode in the US East (N. Virginia) Region, and will become available in the remaining AWS commercial regions over the coming weeks.