Tag: file

AirBnB 送出 Form S-1

Hacker News Daily 上看到 AirBnB 送出 Form S-1 了：「d81668ds1.htm」，在 TechCrunch 上面也有一系列的文章可以看...

印象中差不多試 2018 年就有一些傳言了，結果在 2019 年的時候沒看到，到了 2020 年被 COVID-19 重挫... 但長期來看是個成功的商業模式，所以 2020 年不論是有要上還是沒有要上都不意外，現在丟出 Form S-1 給了個答案。

接下來就是等開張那天的股價了...

透過 WebRTC 直接在網頁對傳檔案的服務

Twitter 上看到的服務 WEBWORMHOLE：

透過 WebRTC 直接網頁對網頁傳資料，就不需要再透過第三方服務了。當然這樣做的前提是雙方都要在線上。

另外也可以在 cli 下面用：

之後要傳大檔案找不到空間放的時候可以用看看...

微軟授權讓 exFAT 進 Linux Kernel 的新聞...

最近還蠻紅的新聞之一，Microsoft 官方決定讓 Linux Kernel 可以實做 exFAT：「exFAT in the Linux kernel? Yes!」。公開的規格書在「exFAT file system specification」這邊。

先前一直有 patch，所以技術上一直不是大問題，真正沒進 kernel 的原因之一就是專利，現在微軟的授權也不是開放給所有使用 Linux 的人？而是以 OIN 會員為主：

We also support the eventual inclusion of a Linux kernel with exFAT support in a future revision of the Open Invention Network’s Linux System Definition, where, once accepted, the code will benefit from the defensive patent commitments of OIN’s 3040+ members and licensees.

不知道 Linux 這邊會不會喊卡，感覺不是什麼善意，更像是 PR 性的攻擊...

Backblaze B2 的 Copy File API 終於開放

Backblaze 的 B2 算是我還蠻愛用來丟一些東西的地方 (配合他們與 Cloudflare 合作的免費頻寬)。

先前 B2 一直沒有複製檔案的功能，如果要有同樣檔案，變成得自己再上傳一次，這對於網路沒有很快的使用者會很痛苦，現在總算是提供 API 可以直接複製了：「B2 Copy File is Now Public」。

這個功能主要的文件在「b2_copy_file」。

另外這次也推出了「b2_copy_part」，針對檔案的合併所提供的 API。

加快 ls 的速度

看到「When setting an environment variable gives you a 40x speedup」這篇在講 ls 的速度。

文章是由 Stanford 的 Sherlock 發出來的，不過看起來跟電視劇沒關係，從網站上的標語「The HPC cluster for all your computing needs」可以看出是 HPC 相關的單位。

在 HPC 環境裡面可以預期單一目錄裡會有很多檔案，所以使用者跑來抱怨 ls 的速度就不算太意外了。不過這次使用者有提到在他自己的 laptop 上跑 ls 反而很快：

It all started from a support question, from a user reporting a usability problem with ls taking several minutes to list the contents of a 15,000+ entries directory on $SCRATCH.

Having thousands of files in a single directory is usually not very file system-friendly, and definitely not recommended. The user knew this already and admitted that wasn’t great, but when he mentioned his laptop was 1,000x faster than Sherlock to list this directory’s contents, of course, it stung. So we looked deeper.

直接跳到後面的結論... 原因是出自於因為需要顯示不同顏色，而需要透過 lstat() 查詢額外的檔案性質 (可執行、setuid 以及 setgid 這些資料)，導致速度變慢：

From 13s with the default settings, to 0.3s with a small LS_COLORS tweak, that’s a 40x speedup right there, for the cheap price of not having setuid/setgid or executable files colorized differently.

Of course, this is now setup on Sherlock, for every user’s benefit.

透過設定 LS_COLORS='ex=00:su=00:sg=00:ca=00:'，可以讓 lstat() 消失，所以被放進 Sherlock 的預設值了... 而沒有遇到這個問題的環境 (像是有設計好對應的目錄結構)，或是想要維持原來的樣子的人，則可以 unset 掉這個值讓輸出還是有色彩差異 :o

Dropbox 免費版限制三個裝置更新...

Dropbox 決定限制免費版的裝置數量，最多只能有三個裝置同步：「Dropbox adds three-device limit for free users」，對應的頁面是「Is there a limit to the number of devices I can link to my account?」。

既有的裝置不受限，但無法再增加：

If you're a Basic user and you linked more than three devices prior to March 2019, all of your previously linked devices will remain linked, but you can’t link additional devices.

另外一個選擇是付費版，最低是 1TB USD$9.99/month (年繳是 USD$99/year)。

看起來像是養肥了要殺，不過這個領域相關的技術應該是夠成熟，而且也不會用到什麼特別的功能，應該會去看看其他平台的情況，像是 Sync 與 pCloud。

其中 Sync 有免費版 (空間限制 5GB，付費版 500GB USD$49/year)，不過官方不支援 Linux，有人用 Wine 跑過，但據說穩定性與效能都不太好：「Sync.com in Linux」。

pCloud (500GB EUR$47.88/year) 也是剛剛提到在 Linux 上跑 Sync 的人後來測試的服務，官方有支援 Linux (看起來是透過 AppImage 包裝)，也許可以測試看看。

另外一個是自己一直都有在用的 Syncthing，不過設定同步的操作上只有 web interface，而且因為是信任架構，需要多台互相設定，沒那麼方便...

Amazon EFS 的 IA Storage Class

Amazon EFS 一直找不太到好用的使用情境，因為 NFS 的關係所以大量 I/O 時的 latency issue 使得速度快不起來，而拿來堆 log 的成本又超級高...

最新推出的 storage class 則是透過提供低儲存成本的版本，解決了堆 log 這種使用情境：「New – Infrequent Access Storage Class for Amazon Elastic File System (EFS)」。

不過 EFS 不像 S3 可以直接選擇 storage class，是需要讓系統管理的：

開啟後 30 天沒有被碰過的檔案就會切過去：

Eligible Files – Files that are 128 KiB or larger and that have not been accessed or modified for at least 30 days can be transitioned to the new storage class. Modifications to a file’s metadata that do not change the file will not delay a transition.

而 latency 也會增加：

Files that have not been read or written for 30 days will be transitioned to the Infrequent Access storage class with no further action on your part. Files in the Standard Access class can be accessed with latency measured in single-digit milliseconds; files in the Infrequent Access class have latency in the double-digits.

以 us-east-1 為例子來說，Standard 是 USD$0.3/GB-month，而 IA 只要 USD$0.045/GB-month，但抓取時會有 USD$0.01/GB 的傳輸費用，可以看出價錢低不少。

不過文章裡沒提到什麼時候會把資料從 IA 跳回 Standard，可能得找機會問問看...

看檔案改變的過程

像是這樣的東西：

專案在「pomber/github-history」這邊，目前只支援 GitHub 平台。在選好檔案後，只要把本來網址上的 github.com 改成 github-history.netlify.com 就可以切過去操作了。

主要是看起來頗有趣的，實用性我覺得有點低 XD

YAML 裡放多行區塊的方式

因為在寫 ansible 的 playbook，有些地方想要偷懶，把檔案放進在 playbook 本身...

網路上搜了一下找到「In YAML, how do I break a string over multiple lines?」這篇，最常用的應該是 |、|- 以及 |+ 了，用這三招塞檔案應該是夠用...

裡面的範例拿 JSON 的格式來解釋還蠻有趣的，代表 JSON 真的很好懂...

Syncthing 發行 1.0.0 版

Syncthing 是一個檔案分享軟體，如果要說類型的話，可以看作是 Dropbox 的 open source 版本，找台便宜的 VPS 主機就可以架起來丟著 (挑個空間夠大的 OpenVZ instance)。

官方在前幾天宣佈推出 1.0.0 了：「Syncthing graduation day」。會推出主要的原因是現在的版本其實夠穩定，就不要因為 0.x 版而造成使用者誤解了 (這邊應該是在講因為 Semantic Versioning 的流行，0.x 版會給人不穩定的印象)：

As much as a version number means anything at all, a “major zero” version number means that you can expect breakage. This is not what we want to communicate. Especially, it’s not the mindset that we should have towards our users. Hence Syncthing is now graduating from being in perpetual beta to being actual release software, yet the journey of development continues.

來把手上的機器都升級上去...