Tag: command

在 Shell 下一行用 SQLite 查詢 CSV 內的資料

從 Simon Willison 這邊看到 command line 下用 SQLite 的技巧：「One-liner for running queries against CSV files with SQLite」。

範例指令是這樣 (整理了一下排版)：

sqlite3 :memory: \
    -cmd '.import -csv taxi.csv taxi' \
    'SELECT passenger_count, COUNT(*), AVG(total_amount) FROM taxi GROUP BY passenger_count'

可以看出來這個方式是將 csv 檔先讀到 in-memory database (:memory:)，再用 SQLite 下指令處理，另外也可以自己變化，應該可以透過 /dev/stdin 這樣的方式讀 pipe 的東西。

拿來簡單跑一些東西應該還不賴？

Cloudflare 預定推出 SSH command logging 功能

Cloudflare 預定要推出 SSH command logging 功能：「Introducing SSH command logging」。

看起來是 Cloudflare Zero Trust 產品線：

We’re excited to announce SSH command logging as part of Cloudflare Zero Trust.

翻了 Zero Trust 的 Pricing 資訊，Free Plan 看起來是 50 users 以下不用錢，但不確定這個功能會被放到 Core Features 內還是會被放到另外要收費的部份。

早在 AWS 在 2016 年的時候有用 script 整合了一個方案出來，裡面提到的方法不限於 AWS 上才能用：「How to Record SSH Sessions Established Through a Bastion Host」。

翻了一下 open source 專案，看起來有一些 open source 方案可以用：

另外這個需求在資安要求比較高的行業算是很常見，非 open source 的方案就有不少，先隨便抓兩個：

jless：檢視 JSON 的工具

前幾天在「Show HN: Jless, a command-line JSON viewer (pauljuliusmartinez.github.io)」這邊看到用 Rust 寫的 jless 這個工具，官網有個動圖可以參考：

這樣方便不少，就不需要自己在對半天...

另外也剛好拿來練手，把 Rust 寫的套件包成 Ubuntu PPA：「PPA for jless」。

主要是 cargo vendor 這個指令可以把相依套件都抓下來放到 vendor/ 下面，然後設定 .cargo/config.toml 後就可以在本地端處理了，這對於 build farm 限制 internet 連線的情況會好用很多...

curl 的 command line 工具也要支援 JSON 格式了

Daniel Stenberg 在 curl 的 mailing list 上宣佈要支援 JSON 格式：「JSON support」，用法在「JSON awareness in the curl tool」在這邊可以看到，另外在 Hacker News 上的討論「The time might come when we add some JSON specific command line options (curl.se)」也可以翻翻。

討論裡面馬上有提到 HTTPie，這個套件基本上也算是標配了 (而且在各大 distribution 的 package 都有內建，直接裝就可以了)，可以看到主要是處理 POST 輸入時的 JSON 部份 (在 Content-Type: application/json 的情境下)，HTTP response 輸出的部份一般都還是用 jq 處理。

不過 curl 自己又定義了一套指定 JSON 內容的方式...

與 jq 互相配合的 jc

在 Simon Willison 的 blog 上看到的工具：「jc」，專案的網站：「JSON CLI output utility」。

可以把許多種輸出結果轉成 JSON 格式：

CLI tool and python library that converts the output of popular command-line tools and file-types to JSON or Dictionaries. This allows piping of output to tools like jq and simplifying automation scripts.

所以就可以這樣用：

dig example.com | jc --dig

然後再丟給 jq：

dig example.com | jc --dig | jq -r '.[].answer[].data'

支援的格式不少，在「Parsers」這段可以看到。

在 Ubuntu 22.04 後可以直接透過系統的 apt 安裝：「Ubuntu – Details of package jc in jammy」，在那之前也可以透過 pip 裝起來用...

等 Ubuntu 22.04 出了以後應該會變成標配安裝...

在 command line 下生出全灰的圖片

因為需要一張 1920x1080 全灰色的圖片，翻了一下 DuckDuckGo 找到這篇：「Linux create Image pixel by pixel in command line」。

裡面抓重點，主要的想法是 PPM 格式 (可以參考「Netpbm」這個條目)，然後找到「PPM Format Specification」這份文件。

主要就是用 P3 模式下去產生檔案：

repeat 2073600 echo '127 127 127' >> grey.ppm

然後開頭的地方修一下，加上 P3、長寬資訊以及最大的值：

P3
1920 1080
255

接著就用 ImageMagick 轉檔：

convert grey.ppm grey.png

然後用 viewer 看一下，確認沒問題就收工了...

很多 ls 開頭的指令...

在 Twitter 上看到 ls* 指令：

文章是「ls* Commands Are Even More Useful Than You May Have Thought」這篇，本來以為是要裝軟體的，結果發現在講的都是已經內建裝好的指令...

包括了很多跟底層硬體界面相關的指令：

  • lsblk (儲存裝置相關)
  • lshw (硬體)
  • lscpu (CPU)
  • lspci (PCI)
  • lsusb (USB)

可以用一次有個感覺就好，這個年頭遇到問題時還是會靠搜尋引擎找答案 XDDD

Neovim 在選擇檔案名稱時的操作按鍵

在 Neovim 時操作檔案名稱時會是下拉選單，在 insert mode 時的畫面是這樣 (進到 insert mode 後 Ctrl-X + F)：

這時候可以用上下鍵選擇檔案名稱。

在 command mode 下也有類似的功能，像是 :sp 後按 tab 選擇檔案名稱：

問題在於只能用 Ctrl-N 與 Ctrl-P 移動，而不能用上下鍵操作，兩者的 UI 類似但是操作的方式不一樣，於是就翻了翻 manual，找出對應的模式，得到是 command mode，然後用 <expr> + pumvisible() 判斷是否是在 popup menu，接著把上下鍵對應到 Ctrl-N 與 Ctrl-P：

cnoremap <expr> <Down> pumvisible() ? "\<C-n>" : "\<Down>"
cnoremap <expr> <Up> pumvisible() ? "\<C-p>" : "\<Up>"

這樣就搞定了...

Terminal 的 Dark Theme

在「Automatic dark mode for terminal applications」這邊看到讓 terminal 的一些程式支援 Dark Theme 的方式，裡面引用的是「Automatic dark mode for terminal applications」這篇。

可以看到因為 terminal 下沒有標準，所以得 hack 事件發生時要送出的指令，文章裡面給出了 Vim (以及 Tmux)、Alacritty 這幾套程式的 hack。

不過這些 hack 過程算詳細 (而且有說明整個原理)，如果有其他 terminal 下的程式有支援 Dark Theme 的話也可以用類似的邏輯套進去。

AWS 推出 CloudShell

AWS 推出了 CloudShell，讓使用者可以繼承 IAM 的權限，在瀏覽器裡面用 command line 操作 AWS 資源：「AWS CloudShell – Command-Line Access to AWS Resources」。

使用方式很簡單，在 web console 上方的 icon 點下去就可以用了，只是第一次使用的時候會看到需要建立環境的訊息，會等比較久：

連進去後測了一下，看起來是跑一個 30GB Disk 與 4GB RAM 的 container 起來，/proc/cpuinfo 裡面可以看到是 Intel E5-2676 v3 的機器，以這個資訊來查，看起來可能是 m4 系列的機器。

網路的部份基本上對 internet 的 TCP 與 UDP 都可以通，但需要操作 raw socket 丟 ICMP 的 ping 與 mtr 就不會通了。

目前支援的區域只有這些，之後應該會陸陸續續再開放：

Regions – CloudShell is available today in the US East (N. Virginia), US East (Ohio), US West (Oregon), Europe (Ireland), and Asia Pacific (Tokyo) Regions, with the remaining regions on the near-term roadmap.

費用的部份，官方是說不需要另外的費用，只需要付出用到的 AWS 資源，但這邊沒給範例啊，到底是怎麼算的... 看了一圈 EC2、ECS、EKS 都沒有機器，應該是不會算到這邊？

Pricing – You can use up to 10 concurrent shells in each region at no charge. You only pay for other AWS resources you use with CloudShell to create and run your applications.

刷了一下的感覺是，對於已經習慣跳板機的人來說好像還好，尤其是 command line 已經用熟了，太習慣用 Ctrl-W 刪字串，而在瀏覽器裡面按下去就會直接出事的情況，還是有點難用...

比較明顯的好處應該是整合了 IAM 的權限，所以在 awscli 下的權限是一樣的，另外對於有些 web console 沒支援的操作可以用這個方法補強，而不需要自己弄機器出來跑。