Tag: torrent

目前最老的 BitTorrent 種子 20 年了：The Fanimatrix

The Fanimatrix 的 BitTorrent 種子是目前還活著的 BitTorrent 種子最老的，從 2003 年九月建立的種子，至今要 20 年了：「The World’s Oldest Active Torrent Turns 20 Years Old」。

在 2022 的報告裡面 BitTorrent 的流量大約是 2.91% (雖然這份報告本身有些地方很詭異，但就還是可以當個參考)：「2022 Global Internet Phenomena Report」，在「BitTorrent is Still the King of Upstream Internet Traffic, But for How Long?」這邊也在討論 BitTorrent 的占比逐漸下降。

但這就是 open protocol 的特性，你沒辦法殺掉他，而且他在對應的領域還是活的很好...

把 SQLite 的 VFS 掛上 WebTorrent 的 PoC Demo

在 Hacker News Daily 上看到「Static torrent website with peer-to-peer queries over BitTorrent on 2M records (boredcaveman.xyz)」這個討論，作者試著在網頁上跑 SQLite + VFS + WebTorrent。

這好像是這陣子一連串的 combo 技累積出來的東西：

  • 首先當然是把 SQLite 丟到網頁上跑的「sql.js」，這個專案比較久了，2019 年有第一個 release；
  • 然後最近有人透過 HTTP Range (Byte serving) 實做 SQLite VFS 的「sql.js-httpvfs」，這樣就不需要一次下載整包 SQLite；

接下來就是文章作者把 HTTP Range 換掉，改用 BitTorrent 的 pieces 來處理，在網頁端的話就順勢拿 WebTorrent 來用，對於很熱門的網站來說還蠻有趣的設計，但也可以預期網頁的反應速度應該不會太快，偏 PoC...

qBittorrent 支援 BitTorrent v2

在「Thursday January 06th 2022 - qBittorrent v4.4.0 release」這邊可以看到 qBittorrent v4.4.0 支援 BitTorrent v2 (BEP 52) 了：

FEATURE: Support for v2 torrents along with libtorrent 2.0.x support (glassez, Chocobo1)

先前在「libtorrent 宣佈支援 BitTorrent v2」這邊有提到過 libtorrent 要支援 BitTorrent v2 的消息，而 qBittorrent 算是 libtorrent 的使用大戶，支援 BitTorrent v2 後會讓 BitTorrent v2 的使用率增加不少。

用了一年多才出現一個比較大的 client 跳進去支援，看起來大家的動力的確不高...

用 iptables 擋特定國家的封包

這兩天發現 ubuntu-20.04.3-live-server-amd64.iso 這個 BitTorrent 的 ISO image 有大量來自 CN 的連線在狂抓，導致整個上傳頻寬都被吃滿：

沒想到第一次用 iptables 的 xt_geoip 居然是這個用途... 主要是參考「GeoIP Blocking Ubuntu 20.04LTS」這邊的方法，不過因為我的 rtorrent 是跑在 Docker 裡面的，有另外要注意的地方。

首先是安裝軟體，這邊要裝 xtables-addons-common 與 libtext-csv-xs-perl：

sudo apt install -y libtext-csv-xs-perl xtables-addons-common

再來是建立目錄，並且下載一包 GeoIP 的資料 (從 DBIP 下載) 並且轉成 xt_geoip 可以用的格式：

sudo mkdir /usr/share/xt_geoip
cd /usr/share/xt_geoip
sudo /usr/lib/xtables-addons/xt_geoip_dl
sudo /usr/bin/perl /usr/lib/xtables-addons/xt_geoip_build

然後就是加到 iptables 的條件裡面了，我加到兩個地方，一個是 INPUT chain，另外一個是 DOCKER-USER chain (參考「Docker and iptables」這邊的說明)，假設你是用 port 6991 的話就這樣加：

sudo iptables -I INPUT -p tcp -m geoip --source-country CN -m tcp --dport 6991 -j DROP
sudo iptables -I DOCKER-USER -p tcp -m geoip --source-country CN -m tcp --dport 6991 -j DROP

然後可以考慮每個禮拜更新一次資料庫。

另外在找資料的時候發現「Free updated GeoIP legacy databases」這邊有人放出 MaxMind 的版本，不過免費版的應該都差不多，這邊就用 xtables-addons-common 內預設的。

弄完以後就正常多了...

BiglyBT 支援 BitTorrent v2

先前提到的「libtorrent 宣佈支援 BitTorrent v2」，BiglyBT 整合完了：「BiglyBT is the First Torrent Client to Support the BitTorrent V2 Spec」。

看了一下 BiglyBT 的介紹，主要是因為當初 https://en.wikipedia.org/wiki/Vuze 變成 adware 之後分支出來的：

BiglyBT is a feature filled, open source, ad-free, bittorrent client.

BiglyBT is the continuation of the Vuze/Azureus open source project first created in 2003, and is being actively developed by the original coders.

不過這是 Java 寫的 client，目前需求也不大，我自己應該還是會繼續等 qBittorrent 支援，看起來在這邊：「BitTorrent v2 #13344」，不過現在看起來沒什麼進展...

libtorrent 宣佈支援 BitTorrent v2

看到 libtorrent 宣佈支援 BitTorrent v2 (BEP 52) 的消息：「BitTorrent v2」。

BitTorrent v2 這個規格丟出來好久了，但一直都是 draft，而且沒什麼人想要理他，直到 Google 成功產生出 SHA-1 collision 的時候稍微有些音量跑出來，但沒想到居然有人跳下去支援了...

對使用者比較有感覺的差異是從 SHA-1 換成 SHA-2 的 SHA-256 了，這個會影響到整個 torrent file 的結構與 Magnet URI 的部份。

另外一個比較大的改變是 torrent 檔資料結構，有兩個比較大的改變。

第一個是以前用固定的 block size 切割，然後每個 block 產生出 hash，所以 torrent 檔會隨著 block size 選擇的大小 (成反比) 檔案大小 (成正比) 有關，現在會用 Merkle tree，所以只要有 root hash 就可以了。

第二個是以前是把所有檔案包在一起 hash，現在是個別檔案都有自己的 hash (改成 root hash)，所以現在變成可以跨 torrent 檔共用檔案。

然後 libtorrent 的文章裡有提到向前相容的方法，不過以產品面上來說沒有什麼太大的誘因，libtorrent 雖然大，但其他幾家的支援度應該也是重點...

libtorrent 要支援 WebTorrent 協定了

一開始是看到「Libtorrent Adds WebTorrent Support, Expanding the Reach of Browser Torrenting」這篇，但看的時候發現裡面把 libtorrent 與 libTorrent 搞混 (這兩套不一樣，libTorrent 是 rTorrent 作者開發的)，就暫時沒管這篇文章了...

剛剛看到「libtorrent adds support for the WebTorrent protocol」這篇，然後回頭去看本來 TorrentFreak 上的文章，發現已經拿掉本來提到的 rTorrent 了。(可以參考 Internet Archive 上的存檔資料 20200709223911)

WebTorrent 的支援對於 BitTorrent 社群算是很大的進展，主要是因為瀏覽器內就算用上 WebRTC 也沒有辦法模擬出 BitTorrent 的協定，所以只能調整協定，也就是這邊提到的 WebTorrent。

但訂了新的協定，最大的問題還是現有的 BitTorrent 程式都不支援 WebTorrent，所以沒辦法享用現有的 ecosystem，變成獨立的系統，對於推廣上面很不利...

而 libtorrent 算是第一個夠大的 library (對應到 client 的數量) 宣佈支援 WebTorrent，這樣用瀏覽器的人就會有更多機會透過 WebTorrent 協定對通了，接下來等更加發佈新版後應該就可以在 WebTorrent 上看到更多節點了...

最老的 BitTorrent 檔案

在 TorrentFreak 上看到 15 年前的 torrent，現在還活著：「World’s Oldest Torrent Still Alive After 15 Years」。

當年一開始出來的時候還是有 tracker 架構，不是完全的 p2p，但即使如此，對於當時檔案傳輸的幫助超大。現在在 bootstrap 後 (像是抓個前面提到的 fan-made torrent) 就可以靠 Peer exchange 與 DHT 達到 tracker-less 了。

而在遊戲界領域裡，Blizzard 也曾經採用了這個方式提供 patch 以降低伺服器端的頻寬壓力。不過後來好像是靠 CDN，就不用 P2P 的方式了？畢竟後來 CDN 競爭激烈不少，這類靜態檔案下載的技術大家都很成熟，對於有量的公司可以直接談個還不錯的價錢，而 P2P 還是有可能會受到干擾，走 HTTP (以及後來的 HTTPS) 還是遊戲公司的首選。

算是網路歷史上少數真正分散式的架構... 不會受到 vendor 喊停就不見。

直接在網頁上使用 WebTorrent

看到 GitHub 上的「mikeal/webtorrent-component」這個專案，可以很方便直接嵌入 BitTorrent 的資源，像是這樣嵌：

<script src="https://cdn.jsdelivr.net/npm/webtorrent-component@latest/dist/webtorrent-component.min.js"></script>

<web-torrent src="magnet:?xt=urn:btih:08ada5a7a6183aae1e09d831df6748d566095a10&dn=Sintel&tr=wss%3A%2F%2Ftracker.btorrent.xyz&tr=wss%3A%2F%2Ftracker.fastcast.nz&tr=wss%3A%2F%2Ftracker.openwebtorrent.com&ws=https%3A%2F%2Fwebtorrent.io%2Ftorrents%2F&xs=https%3A%2F%2Fwebtorrent.io%2Ftorrents%2Fsintel.torrent" file="Sintel.mp4" />

如果拿來跟「Using BitTorrent with Amazon S3」用的話可以在量大的時候省一些頻寬，並且在量小的時候還是維持有 seed (透過 Amazon S3 的服務做)。

Tails 3.0 出了，然後又開始提供 BitTorrent 下載了...

Tails 是個 Tor 的獨立環境，可以直接用 USB 開機或是透過虛擬機上線，避免受到其他干擾而洩漏資訊。

剛剛看到了 Tails 發佈 3.0 版的消息：「Tails 3.0 is out」，比較特別的是在下載頁面發現 BitTorrent 的下載方式又被放回去了。

前陣子本來在「BitTorrent 對 SHA-1 的改善計畫？」這邊有提到 Tails 的團隊因應 SHA-1 的問題，在討論是否要繼續提供 BitTorrent 的問題 (因為 BitTorrent 裡使用 SHA-1 做很多事情)，當時的決議其實是暫時使用 BitTorrent 發佈：「Biterrant attack」。

不過後續的更新這樣寫，所以看起來暫時會先恢復 BitTorrent 下載的方式：

After reading this discussion, my current conclusion is that we've totally misunderstood the impact of the attack, and that the security of our bittorrent downloads is still good enough. So I propose we revert to what we did before the 2.12 release, i.e. ship Torrents, for the foreseeable future when 2nd pre-image attacks are not realistic yet.

回到 Tails 3.0 本身，其中比較大的改變是放棄了 32bits 的支援：

Tails 3.0 works on 64-bit computers only and not on 32-bit computers anymore.

然後以前要在開機進到進階選單才有的語言設定，現在變成預設就會提醒了：

也許該再來測試看看注音輸入法好不好用的問題了 XD