Tag: line

在 Shell 下一行用 SQLite 查詢 CSV 內的資料

從 Simon Willison 這邊看到 command line 下用 SQLite 的技巧：「One-liner for running queries against CSV files with SQLite」。

範例指令是這樣 (整理了一下排版)：

sqlite3 :memory: \
    -cmd '.import -csv taxi.csv taxi' \
    'SELECT passenger_count, COUNT(*), AVG(total_amount) FROM taxi GROUP BY passenger_count'

可以看出來這個方式是將 csv 檔先讀到 in-memory database (:memory:)，再用 SQLite 下指令處理，另外也可以自己變化，應該可以透過 /dev/stdin 這樣的方式讀 pipe 的東西。

拿來簡單跑一些東西應該還不賴？

網頁的死亡線

是一篇 2017 年的文章，前幾天在 Hacker News 上重新被提出來：「The Line of Death (2017) (textslashplain.com)」。

文章開頭在講瀏覽器 UI 的信任區，這條線以上是 native UI，以下是網站可以任意操控的內容：

所以 UI 上面有些小細節讓你區分，但這其實對不是專精 phishing 的人很不友善：

另外當然就會提到 browser-in-a-browser (以及 picture-in-picture) 類的 phishing 了：

另外提到了 Fullscreen API，這使得信任區間變成 0：

提到 Fullscreen API 所以就去翻資料，意外發現 IE11 居然支援這組 API，雖然是帶 ms 的 prefix，而且不支援一些輔助性的功能 (像是傳回 Promise object)。

這些 UI 與 security 類的問題，主要還是得考慮到使用者未必那麼熟悉，以及就算有經驗的人也很有可能不小心中獎...

jless：檢視 JSON 的工具

前幾天在「Show HN: Jless, a command-line JSON viewer (pauljuliusmartinez.github.io)」這邊看到用 Rust 寫的 jless 這個工具，官網有個動圖可以參考：

這樣方便不少，就不需要自己在對半天...

另外也剛好拿來練手，把 Rust 寫的套件包成 Ubuntu PPA：「PPA for jless」。

主要是 cargo vendor 這個指令可以把相依套件都抓下來放到 vendor/ 下面，然後設定 .cargo/config.toml 後就可以在本地端處理了，這對於 build farm 限制 internet 連線的情況會好用很多...

curl 的 command line 工具也要支援 JSON 格式了

Daniel Stenberg 在 curl 的 mailing list 上宣佈要支援 JSON 格式：「JSON support」，用法在「JSON awareness in the curl tool」在這邊可以看到，另外在 Hacker News 上的討論「The time might come when we add some JSON specific command line options (curl.se)」也可以翻翻。

討論裡面馬上有提到 HTTPie，這個套件基本上也算是標配了 (而且在各大 distribution 的 package 都有內建，直接裝就可以了)，可以看到主要是處理 POST 輸入時的 JSON 部份 (在 Content-Type: application/json 的情境下)，HTTP response 輸出的部份一般都還是用 jq 處理。

不過 curl 自己又定義了一套指定 JSON 內容的方式...

與 jq 互相配合的 jc

在 Simon Willison 的 blog 上看到的工具：「jc」，專案的網站：「JSON CLI output utility」。

可以把許多種輸出結果轉成 JSON 格式：

CLI tool and python library that converts the output of popular command-line tools and file-types to JSON or Dictionaries. This allows piping of output to tools like jq and simplifying automation scripts.

所以就可以這樣用：

dig example.com | jc --dig

然後再丟給 jq：

dig example.com | jc --dig | jq -r '.[].answer[].data'

支援的格式不少，在「Parsers」這段可以看到。

在 Ubuntu 22.04 後可以直接透過系統的 apt 安裝：「Ubuntu – Details of package jc in jammy」，在那之前也可以透過 pip 裝起來用...

等 Ubuntu 22.04 出了以後應該會變成標配安裝...

在 command line 下生出全灰的圖片

因為需要一張 1920x1080 全灰色的圖片，翻了一下 DuckDuckGo 找到這篇：「Linux create Image pixel by pixel in command line」。

裡面抓重點，主要的想法是 PPM 格式 (可以參考「Netpbm」這個條目)，然後找到「PPM Format Specification」這份文件。

主要就是用 P3 模式下去產生檔案：

repeat 2073600 echo '127 127 127' >> grey.ppm

然後開頭的地方修一下，加上 P3、長寬資訊以及最大的值：

P3
1920 1080
255

接著就用 ImageMagick 轉檔：

convert grey.ppm grey.png

然後用 viewer 看一下，確認沒問題就收工了...

很多 ls 開頭的指令...

在 Twitter 上看到 ls* 指令：

文章是「ls* Commands Are Even More Useful Than You May Have Thought」這篇，本來以為是要裝軟體的，結果發現在講的都是已經內建裝好的指令...

包括了很多跟底層硬體界面相關的指令：

  • lsblk (儲存裝置相關)
  • lshw (硬體)
  • lscpu (CPU)
  • lspci (PCI)
  • lsusb (USB)

可以用一次有個感覺就好，這個年頭遇到問題時還是會靠搜尋引擎找答案 XDDD

Terminal 的 Dark Theme

在「Automatic dark mode for terminal applications」這邊看到讓 terminal 的一些程式支援 Dark Theme 的方式，裡面引用的是「Automatic dark mode for terminal applications」這篇。

可以看到因為 terminal 下沒有標準，所以得 hack 事件發生時要送出的指令，文章裡面給出了 Vim (以及 Tmux)、Alacritty 這幾套程式的 hack。

不過這些 hack 過程算詳細 (而且有說明整個原理)，如果有其他 terminal 下的程式有支援 Dark Theme 的話也可以用類似的邏輯套進去。

AWS 推出 CloudShell

AWS 推出了 CloudShell，讓使用者可以繼承 IAM 的權限，在瀏覽器裡面用 command line 操作 AWS 資源：「AWS CloudShell – Command-Line Access to AWS Resources」。

使用方式很簡單，在 web console 上方的 icon 點下去就可以用了，只是第一次使用的時候會看到需要建立環境的訊息，會等比較久：

連進去後測了一下，看起來是跑一個 30GB Disk 與 4GB RAM 的 container 起來，/proc/cpuinfo 裡面可以看到是 Intel E5-2676 v3 的機器，以這個資訊來查，看起來可能是 m4 系列的機器。

網路的部份基本上對 internet 的 TCP 與 UDP 都可以通，但需要操作 raw socket 丟 ICMP 的 ping 與 mtr 就不會通了。

目前支援的區域只有這些，之後應該會陸陸續續再開放：

Regions – CloudShell is available today in the US East (N. Virginia), US East (Ohio), US West (Oregon), Europe (Ireland), and Asia Pacific (Tokyo) Regions, with the remaining regions on the near-term roadmap.

費用的部份，官方是說不需要另外的費用，只需要付出用到的 AWS 資源，但這邊沒給範例啊，到底是怎麼算的... 看了一圈 EC2、ECS、EKS 都沒有機器，應該是不會算到這邊？

Pricing – You can use up to 10 concurrent shells in each region at no charge. You only pay for other AWS resources you use with CloudShell to create and run your applications.

刷了一下的感覺是，對於已經習慣跳板機的人來說好像還好，尤其是 command line 已經用熟了，太習慣用 Ctrl-W 刪字串，而在瀏覽器裡面按下去就會直接出事的情況，還是有點難用...

比較明顯的好處應該是整合了 IAM 的權限，所以在 awscli 下的權限是一樣的，另外對於有些 web console 沒支援的操作可以用這個方法補強，而不需要自己弄機器出來跑。

Mutt 跳版推出 2.0

看到「Mutt 2.0 released」這篇，Mutt 推出 2.0 版，官方的 release notes 則是在這：「Mutt 2.0 Release Notes」。

這次版本跳到 2.0 主要是因為有 incompatible changes，實質上的變更其實沒有太多：

This release was bumped to 2.0, not because of the magnitude of features (which is actually smaller than past releases), but because of a few changes that are backward incompatible.

我自己還是保留一個信箱用 Mutt 在看信，主要是有一個信箱是完全控制在自己手上，所以自己架設 mail server 並且在上面看信...

上面主要是透過 procmail 拿來收各種信件 (尤其是 mailing list)，對於純文字的閱讀還是頗方便...