幹壞事是進步最大的原動力
也是這次 AWS re:Invent 發表的服務，透過 Machine Learning 分析可能的安全問題：「Introducing Amazon Detective」。
透過現有的各種 log 建立模型分析：
Amazon Detective can analyze trillions of events from multiple data sources such as Virtual Private Cloud (VPC) Flow Logs, AWS CloudTrail, and Amazon GuardDuty, and automatically creates a unified, interactive view of your resources, users, and the interactions between them over time.
依照 log 的量算錢的，然後 preview 階段不收費，所以有興趣的人可以開起來跑看看？
Amazon EFS 有 IA 的儲存方案，儲存的價位便宜很多，但需要另外收存取費用。不過這對於丟 log 之類的倒是還算方便，很多現有的程式就可以直接往裡面丟...
不過系統的設計上不是讓你指定哪些檔案放到 IA，而是設定 Lifecycle Management Policy 以及時間，當超過指定的時間後就會安排搬到 IA 裡面。
先前最低的時間是 14 天，剛剛看到 AWS 宣佈有 7 天的選項了，從 web console 上就可以看到選項可以選了：「Amazon Elastic File System Infrequent Access Now Supports a 7-day Lifecycle Management Policy」。
這樣對於開始堆資料的人，一開始塞東西進去而需要付 Standard Storage 的時間可以少蠻多的...
看到拿 git log 分析知名開發者的活動時間：「At what time of day do famous programmers work?」。
從列出來的人可以看出 Chris Lattner (LLVM 與 Swift) 是個夜貓子，其他人大多都是正常的作息... 也看得出來有些人堅持睡覺時間不碰這些東西 XD
在「Profiling Vim」這邊看到 Vim 上常見的效能問題，很多時候會覺得「慢」但不知道慢在哪邊的問題...
文章作者已經知道是開 Markdown 檔案時的問題，所以可以在開啟 Vim 後用下指令啟動 profiling，但如果是想要追蹤一開起來很慢的問題，可以看「對 Vim 啟動過程做效能分析」這篇的方式，直接在啟動時加上 --startuptime vim.log 這樣的語法，把 log 寫到 vim.log 裡面。
針對分析在 GFW 牆內的情況，看到「GFWaaS - GFW as a Service」這樣的服務出現了，依據價位提供兩個不同等級的功能：
對於人不在中國，但需要照顧中國市場的開發團隊應該會有些幫助？
「Oh shit, git!」這個站台列出了常見的 Git 問題與可能的解法，不過我最愛最後一個，看起來很萬用的砍掉重練：
cd .. sudo rm -r fucking-git-repo-dir git clone https://some.github.url/fucking-git-repo-dir.git cd fucking-git-repo-dir
雖然最後這個方法有種惡搞感，不過裡面其他提到的問題其實都還蠻常見的，包括了修改最新一個 commit 的 commit log，或是想要再多加一些東西到最新的 commit 上，以及 commit 錯 branch 後要怎麼處理。
從以前用 Subversion 就有習慣用 e-mail 收 diff log (內建的 hook 就有這個功能)。後來有了 Gmail 就更方便了，畢竟搜尋是 Google 的強項，另外一方面 Gmail 也是目前少數可以完全用鍵盤操作的 e-mail client。
現在用 Git 與 GitHub 平台讓這件事情麻煩不少，得透過 webhook + API 自己包出來，目前折衷的方法是收 GitHub 的通知信 (但是沒有 diff log)，然後寫個 Userscript，在按下 i 之後會把 GitHub 通知信裡的連結全部點開：「open-github-links-in-gmail」。
寫的很簡單... 最花時間反而是因為 hotkey 都被吃掉了，要測出哪個鍵還沒被用掉。
Cloudflare 推出了 Logpush，可以把 log 傳到 Amazon S3 或是 Google Cloud Storage 上 (目前就支援這兩個)：「Logpush: the Easy Way to Get Your Logs to Your Cloud Storage」，目前是 enterprise 方案可以用：
Today, we’re excited to announce a new way to get your logs: Logpush, a tool for uploading your logs to your cloud storage provider, such as Amazon S3 or Google Cloud Storage. It’s now available in Early Access for Enterprise domains.
Logpush currently works with Amazon S3 and Google Cloud Storage, two of the most popular cloud storage providers.
以往是自己拉，需要考慮 HA 問題 (兩台小機器就可以了，機器成本是還好，但維護成本頗高)，現在則是可以讓 Cloudflare 主動推上來...
我大多數的建議是 log 儘量留 (包括各種系統的 log 與 http access log)。主要是因為儲存成本一直下降 (S3 的 1TB 才 USD$23/month，如果使用 Glacier 會低到 USD$4/month)，而且 log 在壓縮後會變小很多 (經常會有重複的字)。
最傳統的 AWStats 就可以看到不少資訊，如果是透過 IP address 與 User-agent，交叉配合其他 event data 就可以讓很多 machine learning 演算法取得的資訊更豐富。
Amazon EFS 一直找不太到好用的使用情境，因為 NFS 的關係所以大量 I/O 時的 latency issue 使得速度快不起來，而拿來堆 log 的成本又超級高...
最新推出的 storage class 則是透過提供低儲存成本的版本，解決了堆 log 這種使用情境：「New – Infrequent Access Storage Class for Amazon Elastic File System (EFS)」。
不過 EFS 不像 S3 可以直接選擇 storage class，是需要讓系統管理的：
開啟後 30 天沒有被碰過的檔案就會切過去：
Eligible Files – Files that are 128 KiB or larger and that have not been accessed or modified for at least 30 days can be transitioned to the new storage class. Modifications to a file’s metadata that do not change the file will not delay a transition.
而 latency 也會增加：
Files that have not been read or written for 30 days will be transitioned to the Infrequent Access storage class with no further action on your part. Files in the Standard Access class can be accessed with latency measured in single-digit milliseconds; files in the Infrequent Access class have latency in the double-digits.
以 us-east-1 為例子來說，Standard 是 USD$0.3/GB-month，而 IA 只要 USD$0.045/GB-month，但抓取時會有 USD$0.01/GB 的傳輸費用，可以看出價錢低不少。
不過文章裡沒提到什麼時候會把資料從 IA 跳回 Standard，可能得找機會問問看...
實做 MyRocks 的 Mark Callaghan 花五分鐘在 CIDR 2019 上介紹 LSM tree：「Geek code for LSM trees」。翻了一下發現 CIDR 是兩年辦一次，跟之前遇過的 conference 不太一樣...
投影片在「Diversity of LSM tree shapes」這邊可以看到，在五分鐘內講完的前提下規劃出的重點...