cli – Gea-Suan Lin's BLOG

Mutt 跳版推出 2.0

看到「Mutt 2.0 released」這篇，Mutt 推出 2.0 版，官方的 release notes 則是在這：「Mutt 2.0 Release Notes」。

這次版本跳到 2.0 主要是因為有 incompatible changes，實質上的變更其實沒有太多：

This release was bumped to 2.0, not because of the magnitude of features (which is actually smaller than past releases), but because of a few changes that are backward incompatible.

我自己還是保留一個信箱用 Mutt 在看信，主要是有一個信箱是完全控制在自己手上，所以自己架設 mail server 並且在上面看信...

上面主要是透過 procmail 拿來收各種信件 (尤其是 mailing list)，對於純文字的閱讀還是頗方便...

第五堂：「Command-line Environment」

這個系列是從『MIT 的「The Missing Semester of Your CS Education」』這邊延伸出來的，這邊講的是「Command-line Environment」這篇。

開始聊之前先看一下其他的東西，我注意到這系列文章有簡體中文 (這裡，已經翻完) 與繁體中文 (這裡，還有幾篇還沒翻完) 的版本了，如果讀英文會比較累的人可以參考看看。

這堂講 command line 下的各種事情，感覺起來比起前面硬不少。

首先就先開始講 signal，各家系統的 signal 應該還是有些微差異，可以參考各家的 signal(7) (在 command line 下用 man 7 signal 可以列出來)。

這邊講的 signal 都比較通用，像是 SIGKILL 的殺傷力，SIGTERM 與 SIGQUIT，然後有提到 SIGHUP，但 SIGHUP 的設計慣例是拿來重讀設定檔好像就沒提到了...

接下來就帶過 tmux，只大概講了一下概念 (sessions、windows、panes) 與用法。

然後講 shell 的 alias 對於打造環境的幫助，以及 dotfiles 的設計。

後面講 SSH 的應用，然後還提到了兩個不同方向的 port forwarding。

這些對於初學者來說應該蠻有幫助的，第一次打造自己的 shell environment 的過程應該還蠻有趣的？(已經是很久前了...)

讓 Python 輸出變豐富的 Rich

Hacker News 上看到的 Python 專案，讓 terminal 輸出變得更好看：「Rich is a Python library for rich text and beautiful formatting in the terminal.」。

看到當下吸引我的地方在於表格：

from rich.console import Console
from rich.table import Column, Table

console = Console()

table = Table(show_header=True, header_style="bold magenta")
table.add_column("Date", style="dim", width=12)
table.add_column("Title")
table.add_column("Production Budget", justify="right")
table.add_column("Box Office", justify="right")
table.add_row(
    "Dev 20, 2019", "Star Wars: The Rise of Skywalker", "$275,000,000", "$375,126,118"
)
table.add_row(
    "May 25, 2018",
    "[red]Solo[/red]: A Star Wars Story",
    "$275,000,000",
    "$393,151,347",
)
table.add_row(
    "Dec 15, 2017",
    "Star Wars Ep. VIII: The Last Jedi",
    "$262,000,000",
    "[bold]$1,332,539,889[/bold]",
)

console.print(table)

輸出長這樣：

另外還有不少功能也不錯，會讓畫面豐富不少。

第二堂：「Shell Tools and Scripting」

這個系列是從『MIT 的「The Missing Semester of Your CS Education」』這邊延伸出來的，這篇文章講第二堂課「Shell Tools and Scripting」。

這堂有點像是第一堂的延伸，在講更多 shell 的操作與工具，然後說明 shell script 怎麼寫。

開頭就先說明有 function，然後講了不少 magic variable，像是 $0、$1 到 $9，而 $@ 與 $# 也提到了 (但居然沒提到 $*)，然後再來是 $$、!! 與 $_。

然後提到 true 與 false，接著就講條件 || 與 && 了。後面就開始講 shell 裡面的 for 與 if，基本上到這邊已經能寫不少東西了？

後面就介紹更多工具...

MIT 的「The Missing Semester of Your CS Education」

MIT 推出的短期課程，在 CS 相關科系裡面不會教，但是如果學過的話會讓你的 CS 學習過程有很不一樣的改變：「The Missing Semester of Your CS Education」。

整個主軸是偏應用為主，其中花了很多篇章在講 CLI 下的工具，這點從每堂課的標題就可以看出來：

1/13: Course overview + the shell
1/14: Shell Tools and Scripting
1/15: Editors (Vim)
1/16: Data Wrangling
1/21: Command-line Environment
1/22: Version Control (Git)
1/23: Debugging and Profiling
1/27: Metaprogramming
1/28: Security and Cryptography
1/29: Potpourri
1/30: Q&A

我自己快速讀過去的時候發現，雖然這是入門課程，但我還是從裡面抓到了一些以前沒有關注的關鍵字 (像是 Python debugger pdb 與 profiling 相關的操作)。

接下來應該會開個連載來寫一下心得與感想...

RTorrent 0.9.8

RTorrent 算是我在 command line 下很喜歡用的 bittorrent client，前幾天釋出 0.9.8 版，距離上一個版本 0.9.7 一年多了：「RTorrent release version 0.9.8」。

從 changelog 可以看到目前主要都還是一些維護性質的修改，像是 bugfix 以及對新的 library 的更新，功能增加的不多...

另外一個是最近提供了 donate 的管道：「Donate to rTorrent development」。在 2017 年的時候有寫信問他有沒有 Patreon，他當時說他人在日本沒辦法處理，看起來後來解決了...

在 AWS 強制使用 MFA 的情況下，透過 CLI 操作

AWS 可以設定 IAM 使用者強制使用 MFA (包括 API 的操作)，在這種情況下如果要使用 AWS Command Line Interface 就得透過 AWS STS (AWS Security Token Service) 產生另外一組 key + secret + session key，然後這組通行時間預設是 12 小時。

相關的文章可以參考「How do I use an MFA token to authenticate access to my AWS resources through the AWS CLI?」這篇，然後我就寫了一段 shell script 來做這件事情。

首先是在 ~/.aws/config 內放入 MFA 的 ARN，像是這樣：

[profile mycompany]
mfa = arn:aws:iam::012345678901:mfa/gslin
region = us-east-1

然後就可以用 aws.mfa mycompany 指令產生出一個會把 key + secret + session key 包進去的 shell：

function aws.mfa() {
    local MFA_ARN
    local MFA_TOKEN
    local PROFILE="$1"
    local STSDATA

    MFA_ARN="$(python3 -c "import configparser; import os; c=configparser.ConfigParser(); c.read('{}/.aws/config'.format(os.environ['HOME'])); print(c['profile ${PROFILE}']['mfa'])")
"
    echo "Reading ${PROFILE} and going for token ${MFA_ARN} ..."

    echo -n 'MFA Password: '
    read -r MFA_TOKEN

    STSDATA="$(aws --profile "${PROFILE}" sts get-session-token --serial-number "${MFA_ARN}" --token-code "${MFA_TOKEN}")"
    export AWS_ACCESS_KEY_ID="$(echo "${STSDATA}" | jq -r .Credentials.AccessKeyId)"
    export AWS_SECRET_ACCESS_KEY="$(echo "${STSDATA}" | jq -r .Credentials.SecretAccessKey)"
    export AWS_SESSION_TOKEN="$(echo "${STSDATA}" | jq -r .Credentials.SessionToken)"

    echo 'Running an independant shell...'
    ${SHELL}
}

很明顯的裡面用到了 Python 3 與 jq，這兩個應該都可以直接裝系統的版本就可以了。

後續的操作就跟原來的用法都一樣，像是 aws --region=us-east-1 s3 ls 這樣的指令。

Mac 上讓 SSH 走 Socks5 的方式

在泰國住的飯店提供頗快的網路：

不過到 HiNet 看起來應該是有繞到美國之類的地區？

gslin@Gea-Suans-MacBook-Pro [~] [08:16/W4] mtr --report 168.95.1.1
Start: 2019-04-07T08:16:33+0700
HOST: Gea-Suans-MacBook-Pro.local Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 10.10.20.1                 0.0%    10    1.8   2.0   1.3   3.1   0.6
  2.|-- node-iyp.pool-101-108.dyn  0.0%    10    3.9   3.6   2.7   4.5   0.6
  3.|-- 172.17.36.105              0.0%    10    3.2   4.1   3.2   8.3   1.5
  4.|-- 203.113.44.205             0.0%    10    6.5   5.3   3.9   6.7   1.0
  5.|-- 203.113.44.177             0.0%    10    5.4   4.8   4.0   7.2   1.0
  6.|-- 203.113.37.194             0.0%    10    4.6   6.5   3.0  11.1   2.5
  7.|-- in-addr.net                0.0%    10    3.9   4.4   3.1   5.6   0.8
  8.|-- ???                       100.0    10    0.0   0.0   0.0   0.0   0.0
  9.|-- pcpd-4001.hinet.net        0.0%    10  355.4 356.9 355.1 365.4   3.0
 10.|-- pcpd-3212.hinet.net        0.0%    10  215.6 216.6 214.2 225.4   3.4
 11.|-- tpdt-3022.hinet.net        0.0%    10  219.4 215.9 214.0 221.5   2.5
 12.|-- tpdt-3012.hinet.net        0.0%    10  218.9 217.2 215.0 218.9   1.4
 13.|-- tpdb-3311.hinet.net        0.0%    10  212.5 212.9 211.9 214.1   0.6
 14.|-- 210-59-204-229.hinet-ip.h  0.0%    10  213.5 212.7 212.0 213.7   0.6
 15.|-- dns.hinet.net              0.0%    10  214.4 214.5 213.7 216.0   0.7

這樣有些影音服務只吃台灣 IP 就沒辦法用了，所以就得找方法來解決... 想法是透過我在 GCP 上開的機器繞回 HiNet，所以就得找 Mac 上 SSH 要怎麼設定 Socks5。

本來以為要用 tsocks 之類的工具 (i.e. 用 LD_PRELOAD 處理 connect())，但意外的在「SSH through a SOCKS Proxy? (client = OpenSSH OS X)」這邊看到可以用內建的 nc 處理，因為 nc 有支援 Socks5。

所以就變成兩包 ssh 指令：

ssh -D 1081 gcp.server
ssh -D 1080 -o "ProxyCommand nc -X 5 -x 127.0.0.1:1081 %h %p" hinet.server

然後 127.0.0.1:1080 就是打通的版本了，可以讓瀏覽器直接掛上去使用。

至於後來想起來不需要用 Socks5，可以用 ssh -L 而笑出來又是另外一件事情了 :o

用 jiracli 做一些基本常見的操作

公司用 Jira 在管理事情，但眾所皆知的是 Jira 的速度實在太慢 (而且沒改善過)，只好找些工具來避免使用 web interface...

翻了 GitHub 後看到 toabctl/jiracli 這個用 Python 開發的軟體，可以在 command line 上對 Jira 做些簡單常見的操作 (對我最主要是 issue 與 comment 的操作)，另外工具也支援使用 JQL 搜尋，所以可以透過工具拉下來後再用 grep 或是 awk 過濾...

比較需要注意的是，在第一次執行需要設定的三個參數中，password 的部分其實應該使用 API token (我這邊是 Google SSO，所以不確定一般帳號能不能用自己的密碼登入)，這個部分可以在個人設定頁面裡面產生 API token。

設定檔會在 ~/.jiracli.ini 裡面，程式應該會設為 0600，不過可以檢查一下就是了...

在 Terminal 看資料的 VisiData

在「VisiData」這篇看到的專案，專案的頁面在「A Swiss Army Chainsaw for Data」這邊，從 screenshot 可以看出來是 terminal 的檢視工具：

會注意到是因為支援 .xls：

explore new datasets effortlessly, no matter the format: vd foo.json bar.csv baz.xls

在 SUPPORTED SOURCES 這邊可以看到完整的支援清單，居然連 pcap 也支援，不知道看起來如何 :o