幹壞事是進步最大的原動力
在「How Home Assistant is being used to protect from missile and drone attacks (denysdovhan.com)」這邊看到的，原始文章是「War Safety」。
在俄羅斯入侵烏克蘭已經兩年多了，作者提到，如果每次聽到警報都得馬上避難的話，會無法過日子，所以得想個方法針對警報再分類危險性：
We hear the siren a few times a day. Life would completely stop if we went to the shelter every time the siren goes off. So, people adapt.
文章裡面提到四種分類，包括了 MiG-31 戰機的起飛、自殺式無人機的攻擊、彈道飛彈的攻擊，以及巡弋飛彈的攻擊。所以想法是針對這四種攻擊不同的危險程度，決定當下的行為。
這種東西主要就是抓想法，先看別人遇到的時候做過什麼...
前幾天 Cloudflare 的 API 與 dashboard 掛了一天多，少見的讓 Matthew Prince (CEO) 自己出來發 post mortem 記錄了：「Post Mortem on Cloudflare Control Plane and Analytics Outage」，在 Hacker News 上面也有蠻多討論的：「Post Mortem on Cloudflare Control Plane and Analytics Outage (cloudflare.com)」，這邊是整理我自己讀完後的感想。
從「Matthew Prince - The Cloudflare Blog」這邊可以看出來 Matthew Prince 上次是 2023/09/27 的公關文「Cloudflare’s 2023 Annual Founders’ Letter」，還有對應的多國翻譯，像是繁體中文的「Cloudflare 2023 年度創始人來信」，再往前的 2022/12/11 也是公關文「Welcome to Cloudflare’s Impact Week」(以及對應的繁體中文版本：「歡迎來到 Cloudflare 的 Impact Week」)。
這次的事情算是 Cloudflare 在 post-IPO 後很少見的長時間出事，就難得看到 Matthew Prince 自己出來坦了。為了重新建立信任，加上因為層級的關係，可以看到透漏出很多架構細節，算是這次可以窺視 Cloudflare 架構的一些資訊。
先大概提一下官方文章的著墨點：他們花了非常多的篇幅在機房服務商 Flexential 在處理 PDX-04 (這是 Cloudflare 訂的名稱) 機房電力問題的失職 (要注意這邊是 Cloudflare 的觀點，認為 Flexential 的失職，目前沒有從 Flexential 這邊的消息出來解釋)，淡化掉了 Cloudflare 自己的設計問題，這邊在 Hacker News 上有蠻多人都有指出來的。
這次事件一切的起因是 Flexential 的 PDX-04 機房整個電力系統斷線 offline 導致的，屬於標準的 data center failure 的情況，像是 2013 年二月時是方機房的火災 (可以參考 iThome 的整理)，或是 2021 年 OVH 的機房火災 (「去年 OVH 機房大火的部份情形最近被揭露」)，是個在設計架構時一定會規劃進去的項目。
所以 Matthew Prince 先是解釋 Cloudflare 的 HA 作法，是直接在 Hillsboro, Oregon 租三個機房建立起 low-latency network：
Cloudflare's control plane and analytics systems run primarily on servers in three data centers around Hillsboro, Oregon. The three data centers are independent of one another, each have multiple utility power feeds, and each have multiple redundant and independent network connections.
但大家看到這計馬上就會去查，這個城市也才 66.9km2 的土地，大約是 1/4 個台北市 (約 291.8km2) 再小一些，拉了一下城市內的直線最遠距離，大約是 12km？
呃，這不是一個地震 (就在聖安地列斯斷層區域？) 或是一個核攻擊就把 Cloudflare 最核心的部分給擺平了嗎？
其中 analytics systems 就算了：整個 Hillsboro 掛了進入 gracefully degrading，我可以理解這個設計的考量，但 control plane 看起來不太妙？
雞蛋放在同一個籃子的問題裡先放著，雖然這個問題真的很...。
後續提到了有些重要的產品對沒有 HA 能力的服務上有相依性：
Unfortunately, we discovered that a subset of services that were supposed to be on the high availability cluster had dependencies on services exclusively running in PDX-04.
這邊沒有講是哪些服務的相依性，但文章其他地方有提到有些基礎服務是沒有跨機房 HA 架構的，只有在 PDX-04 有跑，包括了 Kafka 與 ClickHouse：
In particular, two critical services that process logs and power our analytics — Kafka and ClickHouse — were only available in PDX-04 but had services that depended on them that were running in the high availability cluster.
這點讓人頗意外的，Kafka 因為自己架設 & 維護過，知道他的架構本身就很容易設計到跨機房的 case，而且這算是很基礎建設的東西，居然沒有跨機房 HA？
而 ClickHouse 只有研究過，沒有實際把 production 量丟上去跑，但從文件看到的東西，應該至少能做到 shared-everything 的架構，也居然沒有跨機房 HA？
這接基礎建設的問題，導致了雖然只是單一機房 PDX-04 掛掉，但在有重要基礎建設消失的情況下 (應該就是上面提到的 Kafka 與 ClickHouse)，加上 Flexential 沒有給出恢復的時間，決定直接跑災難重建的 SOP (也就是 Hillsboro 的三個機房都回不來的情境)。
而這也可以看到恢復時間比較久，從決定切到歐洲的 DR site 到整個切過去花了四個多小時：
Because more services were offline than we expected, and because Flexential could not give us a time for restoration of our services, we made the call at 13:40 UTC to fail over to Cloudflare's disaster recovery sites located in Europe.
By 17:57 UTC, the services that had been successfully moved to the disaster recovery site were stable and most customers were no longer directly impacted.
因為 Kafka 與 ClickHouse 在 Hillsboro 只有單一機房有服務，那就不確定歐洲 DR site 平常有沒有建起來，也許這邊的四個多小時有不少是在歐洲 DR site 把 Kafka 與 ClickHouse 建起來？(這個就只能猜測了)
回到 Flexential 這邊，在恢復供電的過程發現 Cloudflare 這邊迴路用的 breaker 掛了，直到十個小時後才供電，但也因為大家都忙了一整天，Matthew Prince 決定讓大家先回去休息，隔天早上再從歐洲的 DR site 切回 Hillsboro，也因此拉長了恢復的時間：
At 12:48 UTC, Flexential was able to get the generators restarted. [...] When Flexential attempted to power back up Cloudflare's circuits, the circuit breakers were discovered to be faulty.
Flexential replaced our failed circuit breakers, restored both utility feeds, and confirmed clean power at 22:48 UTC. Our team was all-hands-on-deck and had worked all day on the emergency, so I made the call that most of us should get some rest and start the move back to PDX-04 in the morning. That decision delayed our full recovery, but I believe made it less likely that we’d compound this situation with additional mistakes.
要注意報告慣例是用 UTC 時間 (這又是另外一個主題了，先前 HN 上也有其他文章討論過...)，而 Hillsboro 在美西，要減八個小時，所以 22:48 UTC 是下午兩點多左右，美東與歐洲的團隊時間則會更晚。
目前看起來 Cloudflare 的設計與流程有很大的改善空間？之後看看有沒有其他的八卦消息出來？
Starlink 推出新的產品線 Starlink Aviation，預定在 2023 年推出：
High-speed, low-latency, in-flight internet with connectivity across the globe. Reserve now with deliveries starting in 2023.
客群看起來是航空公司 (或是私人飛機的機主)，而非一般人。每一台飛機可以提供 350Mbps 的頻寬：
Starlink can deliver up to 350 Mbps to each plane, enabling all passengers to access streaming-capable internet at the same time.
所以看起來是要跟現在在飛機上的 internet 服務競爭，如果要用玩的話大概是看看哪家航空公司採用，不然就是得自己買飛機了 (?)...
B 612 是小王子裡的星球，被拿來引用當作字型名稱了：「B612 – The font family」。
這是空中巴士設計給飛機上的系統用的，所以包括了「舒服」(長時間) 與「易讀」，算是某種以「安全」為考量的字體？
In 2010, Airbus initiated a research collaboration with ENAC and Université de Toulouse III on a prospective study to define and validate an “Aeronautical Font”: the challenge was to improve the display of information on the cockpit screens, in particular in terms of legibility and comfort of reading, and to optimize the overall homogeneity of the cockpit.
然後包括了 regular 與 monospace 兩種：
看 Git 的記錄已經 open source 一陣子了，拿來當 sans-serif 用一段時間看看好了...
在「Lithium-ion batteries banned as cargo on passenger planes」這篇文章裡面提到美國打算在今年四月開始禁止托運含有鋰電池的設備：
Due to the risk of fire, lithium-ion batteries cannot be shipped as cargo on passenger planes.
That's according to a new ban enacted by the U.N.'s International Civil Aviation Organization, which takes effect in April.
如同文章尾提到的兩次貨機載運鋰電池產生的事故，我以為美國早已經全面禁止客機托運了 @_@ (因為台灣與日本早就禁止了？)
Lithium-ion batteries can still be shipped on cargo aircraft. At least two deadly cargo jet crashes have been blamed on fires caused by these batteries. A Boeing 747 crashed in Dubai killing two crew members in 2010. In 2011, an Asiana Airlines 747 crashed off South Korea, also killing two crew members.
這邊提到的兩次貨機的空難分別是「UPS航空6號班機空難」(2010 年) 與「韓亞航空991號班機空難」(2011 年)，都是沒有人生還。
美國與古巴的航權競標將在星期二開始：「U.S. to restore commercial flights to Cuba」。
In just a matter of days, U.S. airlines will begin a fierce bidding war to win routes and airport slots to a destination that's been off-limits to them for more than 50 years: Cuba.
不過這次還是沒有開放古巴的飛機：
CNN is told there are no plans in the near future for Cuban-owned planes to land in the U.S. under this agreement.