Tag: archive

Internet Archive 被打

Internet Archive 更新一篇文章，說明前幾天被打掛的事情：「Let us serve you, but don’t bring us down」。

有 64 台機器 (或是 64 個 IP) 從 AWS 打了幾萬 rps 進 Internet Archive：

Tens of thousands of requests per second for our public domain OCR files were launched from 64 virtual hosts on amazon’s AWS services. (Even by web standards,10’s of thousands of requests per second is a lot.)

然後擋掉這些 IP 後恢復正常，但過了幾個小時後又換 IP 被打了：

But, another 64 addresses started the same type of activity a couple of hours later.

找了一下之前有寫過「限制流量的方式 (rate limit)」這篇，裡面提到 Figma 怎麼處理，另外以前自己搞 apache module 後面接 memcached 達到跨機器統計的作法。

就 Internet Archive 的服務來說，是應該要搞個類似的東西來擋，不然可以預期會不斷發生？

跑 ArchiveTeam Warrior

Archive Team 是一個致力於保存數位資料的組織，而 ArchiveTeam Warrior 則是他們提供的軟體，可以讓你很方便直接跑 worker 加入他們的 cluster，幫忙抓資料並且保存到 Internet Archive 上。

他們提供三種方法跑 ArchiveTeam Warrior，第一種是 VM 的方式，文件裡面有介紹怎麼用 VirtualBox 或是 VMware Player 跑起來。

第二種與第三種都是 container 類的方式，Docker 與 Podman 都能跑起來。

跑起來後可以連進 http://127.0.0.1:8001/，然後選擇想要加入的項目，或是接受指令選擇目前團隊主打的項目。

在「Projects」這頁可以看到目前主力是備份 Enjin 上的資料。

丟了兩台 VPS 的機器上去用 Docker 跑，CPU 使用率看起來很低，但網路流量看起來會因為所在的地點而差蠻多的，一台大約是 300KB/sec 到 400KB/sec，換算後大約是 1TB/mo，另外一台則只有 1/10 的量。

備份 Xuite Blog 的公開文章

中華的 Xuite 前陣子宣佈了服務中止的公告：「Xuite隨意窩平台服務終止公告」(這邊就先拉 Internet Archive 的連結了，看起來之後會消失...)。

Blog 的部份，除了作者本身可以拉資料下來放到其他平台以外，外人也可以把這些歷史遺跡保留下來，像是丟到 Internet Archive 的 Wayback Machine 上面。

所以用 Perl 寫了一隻 script，把 url 掃出來後，後續就可以用其他工具 submit 到 Wayback Machine 上面：「xuite-urldump」。

當年有不少 ACG 相關的 blog 在上面，先來備份起來...

Internet Archive 的 Flash 收藏

剛剛看到 Internet Archive 的這篇文章：「Flash Animations Live Forever at the Internet Archive」。

Internet Archive 把模擬器掛上去了，所以你可以直接在網站上用這些 Flash 程式：

Great news for everyone concerned about the Flash end of life planned for end of 2020: The Internet Archive is now emulating Flash animations, games and toys in our software collection.

看起來是透過 ruffle + WebAssembly 轉到瀏覽器上面跑：

Utilizing an in-development Flash emulator called Ruffle, we have added Flash support to the Internet Archive’s Emularity system, letting a subset of Flash items play in the browser as if you had a Flash plugin installed. While Ruffle’s compatibility with Flash is less than 100%, it will play a very large portion of historical Flash animation in the browser, at both a smooth and accurate rate.

You will not need to have a flash plugin installed, and the system works in all browsers that support Webassembly.

然後在「Software Library: Flash Showcase」這邊有一些 showcase 可以看，基本上就是測過沒問題的。另外在「Software Library: Flash」看起來就是整包了...

搜了一下以前有在玩的 Zookeeper，好像沒有在裡面...

Internet Archive 的頻寬...

看到「Thank you for helping us increase our bandwidth」這邊在說明 Internet Archive 的流量資訊：

看起來平常就是滿載的情況，然後加上去的流量馬上就被吃掉了... 這些資料看起來是放在 Cacti 這邊，不過只有 error rate 有開放讓大家翻，流量的部份看起來要登入才能看。

AWS 推出更便宜的儲存方案 Glacier Deep Archive

AWS 推出的這個方案價錢又更低了：「New Amazon S3 Storage Class – Glacier Deep Archive」。

在這之前在 us-east-1 的 S3 最低的方案是 Glacier Storage，單價是 USD$0.004/GB (也就是 $4/TB)。

而這次推出的 Glacier Deep Archive Storage 在同一區則是直接到 USD$0.00099/GB ($0.99/TB)，大約是 1/4 的價錢。

Glacier Deep Archive 在取得時 first byte 的保證時間是 12 小時，另外最低消費是 180 天：

Retrieval time within 12 hours

先前就有的 Glacier Storage 則是可以在取用時設定取得的 pattern (會影響 first byte 的時間)，而最低消費是 90 天：

Configurable retrieval times, from minutes to hours

Pricing for each of these metrics is determined by the speed at which data is requested based on three options. "Expedited" queries <250 MB are typically returned in 1-5 minutes. "Standard" queries are typically returned in 3-5 hours. "Bulk" queries are typically returned in 5-12 hours.

多一個更便宜的選擇可以用。

保存網頁的工具 ArchiveBox

pirate/ArchiveBox 這個專案：

The open source self-hosted web archive. Takes browser history/bookmarks/Pocket/Pinboard/etc., saves HTML, JS, PDFs, media, and more...

他的想法是用 command line 就可以保存：

echo 'https://example.com' | ./archive

然後提供一個網頁介面存取，類似於 Internet Archive 的技術架構？

不過 Internet Archive 因為在美國有拿到豁免權 (像是這篇所說的：「Internet Archive Gets DMCA Exemption To Help Archive Vintage Software」)，還是有他的方便性...

HTTP Archive 分析 CDN 的使用情況...

在 Twitter 上看到 HTTP Archive 分析各家 CDN 的使用情況，給了一個蠻意外的結果，可以看到 Cloudflare 的佔比相當高：

進去看一下分析的方式，是拿 Google Chrome 提供的資料來再進一步分析：

As of December 15th 2018, the HTTP Archive is crawling the full list of desktop origins from the Chrome User Experience (CrUX) Report for the desktop crawls (mobile will be added as of January 1, 2019). The URL list used is the latest available at the time of the crawl (November 2018 in this case).

這應該是出自「Chrome User Experience Report」這邊：

The Chrome User Experience Report is powered by real user measurement of key user experience metrics across the public web, aggregated from users who have opted-in to syncing their browsing history, have not set up a Sync passphrase, and have usage statistic reporting enabled.

由於有條件限制，可以預期會有偏差，不過以目前 Google Chrome 的市占率來說，應該是有意義的資料。而這份資料跑出來的數據看到 Cloudflare 的影響力遠遠超過其他 CDN 讓人頗意外...

AWS 要再推出更低價的 S3 Glacier Deep Archive

AWS 打算要推出 S3 的新產品，單價更低但反應時間更長的儲存方案：「Coming Soon – S3 Glacier Deep Archive for Long-Term Data Retention」。

設計的客群是對法規有要求的情況：

It is designed for customers — particularly those in highly-regulated industries, such as the Financial Services, Healthcare, and Public Sectors — that retain data sets for 7-10 years or longer to meet regulatory compliance requirements.

看起來是那種 log 丟著就不會去動的情境... (Write once never read？XD)

把本來 dehydrated 的 PPA 改成 dehydrated-lite

本來有做 dehydrated 的 PPA (在「PPA for dehydrated : Gea-Suan Lin」這邊)，後來在 17.10+ 就有更專業的人包進去了 (參考「Ubuntu – Package Search Results -- dehydrated」)，為了避免名稱相同但是內容物差很多，我把 PPA 的名字換成 dehydrated-lite 了 (參考「PPA for dehydrated (lite) : Gea-Suan Lin」)。

然後 0.6.2 的 dehydrated 針對 ACMEv2 有修正，這在 0.6.1 時會產生 certificate 裡有多餘資訊 (而 PPA 版的 gslin/dehydrated 只會停留在 0.6.1)，這點需要注意一下：

Don't walk certificate chain for ACMEv2 (certificate contains chain by default)

之後再找機會拔掉 gslin/dehydrated，也許會照著現在 APT 內的架構來做...