rsync

OpenSSL 決定把 release site 改到 GitHub 上

OpenSSL 宣佈了之後會以 GitHub 為主要發佈平台：「Releases Distribution Changes」。

舊的 ftp & rsync 以及 git protocol (9418/tcp 的協定) 都打算淘汰掉：

We’re no longer using our old ftp, rsync, and git links for distributing OpenSSL. These were great in their day, but it’s time to move on to something better and safer.

其中 FTP 與 rsync 都已經停掉了，接下來是今年六月要停掉 ftp.openssl.org 的 HTTPS 介面以及 git.openssl.org 的 git protocol：

ftp://ftp.openssl.org and rsync://rsync.openssl.org are not available anymore. As of June 1, 2024, we’re also going to shut down https://ftp.openssl.org and git://git.openssl.org/openssl.git mirrors.

然後主力轉戰到 GitHub 上面：

GitHub is becoming the main distributor of the OpenSSL releases.

算是省事的作法，畢竟自己弄 infrastructure 不算太輕鬆

另外 OpenSSL 畢竟是個歷史頗久的軟體了，有「遵循古法」所以 release 都會有 PGP/GPG sign，這部分如果還是獨立於 GitHub 平台的話就沒什麼問題，代表還是有非 HTTPS 的 integrity 方法可以確認檔案沒被抽換過。

(但如果綁進 CI/CD 流程的話就廢了？)

gzip 的 --rsyncable (zstd 也有)

查資的時候 gzip 發現有 --rsyncable 這個參數，號稱是產生出對 rsync 友善的壓縮檔：

When you synchronize a compressed file between two computers, this option allows rsync to transfer only files that were changed in the archive instead of the entire archive. Normally, after a change is made to any file in the archive, the compression algorithm can generate a new version of the archive that does not match the previous version of the archive. In this case, rsync transfers the entire new version of the archive to the remote computer. With this option, rsync can transfer only the changed files as well as a small amount of metadata that is required to update the archive structure in the area that was changed.

這個參數的說明可以參考「Rsyncable gzip」這篇，從發表的日期是 2005 年就可以看出來這個參數已經很久了：

With this option, gzip will regularly “reset” his compression algorithm to what it was at the beginning of the file. So if for example there was a change at byte 23, this change will only affect the output up to maximum (for example) byte #9999. Then gzip will restart ‘at zero’, and the rest of the compressed output will be the same as what it was without the changed byte 23. This means that rsync will now be able to re-synchronise between the old and new compressed file, and can then avoid sending the portions of the file that were unmodified.

這個參數的想法是，正常狀態下的 gzip 會因為來源的微小改變，造成後續壓縮的內容都完全不一樣。

但加上 --rsyncable 後，gzip 就會定時重設壓縮狀態 (reset)，於是讓壓縮後的輸出內容有大部分的內容重複，於是 rsync 就能夠偵測到相同內容而避免大量重傳。

但反過來的缺點面也就馬上可以想到，這是犧牲一些壓縮演算法的效率，付出的代價就是輸出的檔案會大一點。

這個功能在 zstd 上也有，不過 xz 就沒有...

我拿 zstd -19 (zstd 最高的壓縮率？) 測試 BBS 的備份，一般壓縮是 513672097 bytes，而加上 --rsyncable 後的壓縮是 513831761 bytes，發現是萬分之幾的增加，等於是只多了零頭...？

看起來會是蠻好用的參數，特地寫一篇記錄起來...

在 PPA 裡面只安裝特定軟體的方式

Ubuntu 20.04 的 rsync 內建只有 3.1.3 (參考「Ubuntu – Package Search Results -- rsync」這邊)，但 --mkpath 這個參數需要 3.2.3+ 才能跑：「How can I configure rsync to create target directory on remote server?」，所以就要找 PPA 看看有沒有人有包新版的可以用。

在「Utilities - various (Xenial & newer)」這邊可以看到 Rob Savoury 有包，但發現這包有一堆軟體，我不想要裝這麼多，所以就用 Pinning 限制。

用 apt-cache policy 可以看到 o= 的值，然後就可以在 /etc/apt/preferences.d/savoury1-utilities 裡設定 rsync 的 Pin-Priority 是 1001，而其他的都掛到 -1。

Package: *
Pin: release o=LP-PPA-savoury1-utilities
Pin-Priority: -1

Package: rsync
Pin: release o=LP-PPA-savoury1-utilities
Pin-Priority: 1001

但跑 apt upgrade 沒看到可以升級，而直接 apt install rsync 的時候可以看到是因為 libxxhash0 跟不上新版而產生錯誤訊息：

The following packages have unmet dependencies:
 rsync : Depends: libxxhash0 (>= 0.8.0) but 0.7.3-1 is to be installed
E: Unable to correct problems, you have held broken packages.

所以一起加進去變成：

Package: *
Pin: release o=LP-PPA-savoury1-utilities
Pin-Priority: -1

Package: libxxhash0 rsync
Pin: release o=LP-PPA-savoury1-utilities
Pin-Priority: 1001

然後就可以 apt upgrade 升級上去了。

OpenRsync 專案

看到「(open)rsync gains include/exclude support」這篇才注意到有 OpenRsync 專案...

在 OpenRsync 的網站上是指到 OpenBSD 的 cvsweb 上：「src/usr.bin/rsync/」，不過在 GitHub 上也有一個 repository：「kristapsdz/openrsync」，裡面有提到目前應該是以 OpenBSD 內的 source code 為主：

This system has been merged into OpenBSD base. If you'd like to contribute to openrsync, please mail your patches to tech@openbsd.org. This repository is simply the OpenBSD version plus some glue for portability.

然後有也提到 OpenRsync 主要就是 license 的關係 (rsync 目前是 GPLv3)：

This is an implementation of rsync with a BSD (ISC) license. It's compatible with a modern rsync (3.1.3 is used for testing, but any supporting protocol 27 will do), but accepts only a subset of rsync's command-line arguments.

不過在一開始的報導裡面，有人反應軟體與 rsync 的相容性不太好，會搞爆 rsync：

By grey (grey) on 2021-08-31 05:17

Nice!

Albeit, the last time I was testing openrsync, I discovered I could use openrsync to reproducibly crash rsync on FreeBSD13-CURRENT on a Raspberry Pi 3 and decided rather than try to debug rsync, I would wait for openrsync to mature a bit, I'm grateful to see that it continues to progress!

就當作個記錄...

Amazon EC2 的網路效能

前一篇「在 AWS 上面的 OpenVPN Server 效能」最後的問題就是 EC2 instance 本身的網路效能，畢竟是公司要用的，還是實際測一下數字，之後有人接手的時候也比較清楚是怎麼選這個大小的...

這邊拿的是 AWS 的 ap-southeast-1 (Singapore) 的 EC2 測試，直接在同一個 subnet 裡面開兩台一樣的機器跑 iperf 測試。

機器開機後會先跑這串指令 (除了安裝 iperf 的指令，其他的是出自我自己 wiki 上的 Ubuntu 這頁)，然後再重開機：

sudo fallocate -l 512M /swapfile; sudo chmod 600 /swapfile; sudo mkswap /swapfile; sudo swapon /swapfile; echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab; echo -e "net.core.default_qdisc=fq\nnet.ipv4.tcp_congestion_control=bbr" | sudo tee /etc/sysctl.d/99-tcp.conf; sudo sysctl -p /etc/sysctl.d/99-tcp.conf; sudo apt update; sudo apt dist-upgrade -y; sudo apt install -y apache2-utils apt-transport-https build-essential curl dnsutils dstat git jq locales moreutils most mtr-tiny net-tools p7zip-full pigz prometheus-node-exporter rsync sharutils software-properties-common sysstat unrar unzip vim-nox wget zsh zsh-syntax-highlighting zstd; sudo apt install -y iperf; sudo apt clean

接下來就是一台跑 iperf -s，另外一台跑 iperf -c 10.x.x.x -i 1 -t 3600 讓他跑一個小時看結果了。

我都有跑 tmux 再連到這些機器上，這樣可以捲回去看每一秒的傳輸速度，就可以看出來變化了，不過這邊還是簡單的只列出最高速度 (burstable) 與穩定輸出的速度 (baseline)：

EC2 instance	Baseline	Burstable	vCPU	RAM	Pricing (USD$)
c6g.medium	500Mbps	10Gbps	1	2GB	0.0392
c6g.large	750Mbps	5Gbps (claimed 10Gbps)	2	4GB	0.0784
c6g.xlarge	1.25Gbps	10Gbps	4	8GB	0.1568
t4g.small	125Mbps	5Gbps	2	2GB	0.0212
t4g.medium	255Mbps	5Gbps	2	4GB	0.0424
t4g.large	510Mbps	5Gbps	2	8GB	0.0848
t4g.xlarge	1Gbps	5Gbps	4	16GB	0.1696

這邊沒列出來的是 burstable 可以持續的時間，但這跟你機器吃的網路資源有關，我就決定只用 baseline 來做決策了，這樣可能會多花一點錢，但會少很多麻煩。

另外這次在處理的過程有被同事提醒各種 bandwidth overhead，所以就順便查了一下資料：

OpenVPN 本身的 overhead 大約是 5% (跑 UDP 的時候)：「OpenVPN performance」。
SSH 也有些 overhead，大約是 6% (把來回的封包都算進去)：「What is the overhead of SSH compared to telnet?」。
rsync 的部份鐵定也有 overhead，但這邊就沒找到現成的文章有統計過了。
另外我自己之前做實驗發現 TCP BBR 的 retransmission algorithm 還蠻激進的，會有 10% packet loss，改用預設的 CUBIC 會好很多，大約 1% 到 2% 左右。

綜合這些測試，我自己抓了 35% 的 overhead 來推估，最後是用 c6g.large 來養 VPN server。750Mbps 的實際流量大約可以包進 550Mbps 的原始流量，大約是 68MB/sec。

不過新加坡與印尼之間的 internet bandwidth 好像還是不太夠，有時候深夜跑也跑不滿... 不過之後 VPN 上的 client 會愈來愈多，應該是不需要降...

rsync 的預設值是傳整個檔案，不是 delta

剛好最近工作上需要透過 4G 網路傳大檔案，但希望大檔案傳到一半斷掉後可以續傳，而不要浪費頻寬整個重傳，所以查了資料並且測了一些東西...

其中一個比較特別的是發現 rsync 的預設是傳整個檔案 (當檔案有變化時)，而不是傳 delta (有變更的部份)，不過還好，可以透過指令強制使用 delta。

在「Does rsync --inplace write to the entire file, or just to the parts that need to be updated? (for btrfs+rsync backups)」這邊有提到幾個需要設定的指令。

首先是標題就有提到的 --inplace，在 manpage 裡面有提到是直接更新檔案，而非建立一個新檔案再 rename，這樣做的缺點是其他的應用程式可能會讀到改到一半的檔案：

update destination files in-place

另外一個提到的是 --no-whole-file，這個要看 --whole-file 的說明來理解，後者就是不開 delta：

copy files whole (w/o delta-xfer algorithm)

第三個是 -c，強制使用 checksum 比對：

skip based on checksum, not mod-time & size

不過我的應用裡面不太想管這個，就沒設定 -c 了，基本上是靠 ssh 的保護，不會有收到錯誤封包的問題。

整體來說，這個方法對兩邊的機器都比較吃資源，而且會遇到應用程式在還在傳輸時讀到檔案的問題，但如果可以克服，而且目標是省頻寬的話，算是個還不錯的方法...

openrsync

在「openrsync imported into the tree」這邊看到 openrsync 專案進入到 OpenBSD 的 source tree 內。

rsync 是使用 GPLv3 授權，這個授權剛出來的時候，幾個比較大的 BSD 的團隊都有找律師研究過，最後都是做出不要把 GPLv3 的軟體放進 source tree 的建議，但 rsync 算是很好用的工具 (尤其是在效率上)。

看起來 openrsync 這個專案主要的目的就是重新實做出 ISC license 版本的 rsync：

This is an implementation of rsync with a BSD (ISC) license. It's compatible with a modern rsync (3.1.3 is used for testing, but any supporting protocol 27 will do), but accepts only a subset of rsync's command-line arguments.

然後目前只有設計在 OpenBSD 上跑，其他平台可能需要花些時間 porting 修正相容性：

At this time, openrsync runs only on OpenBSD. If you want to port to your system (e.g. Linux, FreeBSD), read the Portability section first.

在 GitHub 上的 Git repository 只是個 mirror，真正在管理程式碼的部份還是使用 CVS：

This repository is a read-only mirror of a private CVS repository. I use it for issues and pull requests. Please do not make feature requests: I will simply close out the issue.