幹壞事是進步最大的原動力
從 Simon Willison 這邊看到 command line 下用 SQLite 的技巧：「One-liner for running queries against CSV files with SQLite」。
範例指令是這樣 (整理了一下排版)：
sqlite3 :memory: \
-cmd '.import -csv taxi.csv taxi' \
'SELECT passenger_count, COUNT(*), AVG(total_amount) FROM taxi GROUP BY passenger_count'
可以看出來這個方式是將 csv 檔先讀到 in-memory database (:memory:)，再用 SQLite 下指令處理，另外也可以自己變化，應該可以透過 /dev/stdin 這樣的方式讀 pipe 的東西。
拿來簡單跑一些東西應該還不賴？
看到「Parsing the Infamous Japanese Postal CSV」這篇在抱怨日本郵政提供的 CSV 資料超級糟糕的問題覺得頗「有趣」的，在 Hacker News 上也有人「同病相憐」XDDD：「Parsing the Infamous Japanese Postal CSV (dampfkraft.com)」。
文章作者是「posuto」這個套件的維護人，這個套件讓開發者可以很方便的在 Python 下從郵遞區號推出對應的地點資訊：
import posuto as 〒
? = 〒.get('〒105-0011')
print(?)
# "東京都港区芝公園"
print(?.prefecture)
# "東京都"
print(?.kana)
# "トウキョウトミナトクシバコウエン"
print(?.romaji)
# "Tokyo To, Minato Ku, Shibakoen"
print(?.note)
# None
作者建立的資料是從「読み仮名データの促音・拗音を小書きで表記するもの(zip形式)」這邊取得並且分析，然後這篇文章就是在描述這些 CSV 檔的資料裡面有超級多奇怪的例外，用機器讀取超哭爸的 XDDD (好像不怎麼意外？)
不過最有趣的應該還是他提到的這個：
Oh, and if you need a Win3.1 or DOS program to copy the data onto an IBM H floppy disk, just check the bottom of JP Post's page - they've got you covered.
看起來是頁面下方的這塊：
這就真的太哭爸了啊 XDDD
記者會上有提到現在疾管署的網站上有公開每日送檢數的資料，花了些時間找，在「台灣COVID-19冠狀病毒檢測每日送驗數」這邊可以看到，網站提供的 preview 的界面沒辦法看到最新的資料，但下載後可以看到檔案格式是 UTF-8 的 CSV 檔，應該還算能處理...
找到這個資料花了一些功夫 (因為用 DuckDuckGo 與 Google 都沒直接找到)，後來是靠這樣的步驟找到的：
本來點選熱門資料那邊的「COVID-19台灣最新病例、檢驗統計」結果發現只有一筆資料，而且看起來最後更新時間是 2020/04/24，所以得往其他地方翻。
首先點了上面的「最新消息」發現是個系統公告區，不是我要的，接下來才又找到正確的路線...
這時候就會看到最前面提到的「台灣COVID-19冠狀病毒檢測每日送驗數」了。
然後 data.cdc.gov.tw 這個網站看起來是放在 Microsoft Azure 的日本區？
最近常常需要提供資料給其他部門 (非技術類的部門)，有時候需要提供一些表格類的資料，傳統大多數人比較熟的是產生 CSV 格式的資料讓使用者可以用 Excel 打開，但這個格式其實有很多問題，最常見的就是 encoding 與資料有逗號 comma 的問題。
如果是在 Python 下，其中一個解法是用 openpyxl 直接產生 .xlsx，但用起來還是沒那麼有下面提到的方法順手。
如果是 shell script 時就比較麻煩了，像我這次手上有一堆影片檔，要用 FFmpeg 確認每個影片的 resolution 與 framerate 再提供給同事，這時候如果還是想產生 .xlsx 就累了...
下面要提到的解法好像記得是在 K 社的時候同事教的，用 TSV 檔格式 (當然檔名要取 .tsv)，然後 encoding 用 UTF-16 (LE) 就可以解決上面提到的兩個問題，產生出來的檔案可以讓 Excel 直接打開。
在 StackOverflow 上的「Is it possible to force Excel recognize UTF-8 CSV files automatically?」這邊翻一翻，會發現裡面提到比較好的解法其實都是產生 TSV。
這邊另外推薦，就算是寫程式，也還是可以先產生出 UTF-8 的版本 (通常副檔名我都會先取 .txt)，然後用 iconv 或是 piconv 轉成 UTF-16 (LE)：
iconv -f utf8 -t utf16le a.txt > a.tsv
包到 Makefile 裡面用起來其實還蠻順手的...
在 Hacker News Daily 上看到的，eBay 提供了操作 TSV 的工具組：「eBay/tsv-utils」。
看到了兩個比較少見的東西，第一個是軟體授權是 permissive license (Boost Software License)，第二個是使用的程式語言是 D...
TSV 的確是比 CSV 好用不少，只是會用的單位好像有限...
資料裡還蠻常見出現 , 的情況 (得用 double quote 包起來，但是再遇到 double quote 的時候就用 double double quote...)，但比較少遇到會有 tab 出現...
Amazon Athena 提供另外一種選擇，讓分析的便利性增加了許多：「Amazon Athena – Interactive SQL Queries for Data in Amazon S3」。
以往都需要開 server 起來分析，這個新的服務直接使用就好：
Athena is based on the Presto distributed SQL engine and can query data in many different formats including JSON, CSV, log files, text with custom delimiters, Apache Parquet, and Apache ORC.
果然是用 Presto 改出來的... XDDD
指定好各種資料來源之後直接下 SQL query 分析，然後依照分析的量來算錢... 而 FAQ 的地方也有提到可以透過 JDBC 接上去，這樣看起來跑報表的場合直接丟給他處理了：
Amazon Athena can be accessed via the AWS management console and a JDBC driver. You can programmatically run queries, add tables or partitions using the JDBC driver.
隔壁 Amazon Redshift 的立場變得很尷尬啊，Amazon Athena 不需要養機器而且又可以直接從 Amazon S3 拉資料，如果之後把 Presto 對 RDBMS 的部分再補上來的話就更棒了... (應該是下一階段的任務，把 RDS 補上)
