Tag: cli

第五堂：「Command-line Environment」

這個系列是從『MIT 的「The Missing Semester of Your CS Education」』這邊延伸出來的，這邊講的是「Command-line Environment」這篇。

開始聊之前先看一下其他的東西，我注意到這系列文章有簡體中文 (這裡，已經翻完) 與繁體中文 (這裡，還有幾篇還沒翻完) 的版本了，如果讀英文會比較累的人可以參考看看。

這堂講 command line 下的各種事情，感覺起來比起前面硬不少。

首先就先開始講 signal，各家系統的 signal 應該還是有些微差異，可以參考各家的 signal(7) (在 command line 下用 man 7 signal 可以列出來)。

這邊講的 signal 都比較通用，像是 SIGKILL 的殺傷力，SIGTERM 與 SIGQUIT，然後有提到 SIGHUP，但 SIGHUP 的設計慣例是拿來重讀設定檔好像就沒提到了...

接下來就帶過 tmux，只大概講了一下概念 (sessions、windows、panes) 與用法。

然後講 shell 的 alias 對於打造環境的幫助，以及 dotfiles 的設計。

後面講 SSH 的應用，然後還提到了兩個不同方向的 port forwarding。

這些對於初學者來說應該蠻有幫助的，第一次打造自己的 shell environment 的過程應該還蠻有趣的？(已經是很久前了...)

讓 Python 輸出變豐富的 Rich

Hacker News 上看到的 Python 專案，讓 terminal 輸出變得更好看：「Rich is a Python library for rich text and beautiful formatting in the terminal.」。

看到當下吸引我的地方在於表格：

from rich.console import Console
from rich.table import Column, Table

console = Console()

table = Table(show_header=True, header_style="bold magenta")
table.add_column("Date", style="dim", width=12)
table.add_column("Title")
table.add_column("Production Budget", justify="right")
table.add_column("Box Office", justify="right")
table.add_row(
    "Dev 20, 2019", "Star Wars: The Rise of Skywalker", "$275,000,000", "$375,126,118"
)
table.add_row(
    "May 25, 2018",
    "[red]Solo[/red]: A Star Wars Story",
    "$275,000,000",
    "$393,151,347",
)
table.add_row(
    "Dec 15, 2017",
    "Star Wars Ep. VIII: The Last Jedi",
    "$262,000,000",
    "[bold]$1,332,539,889[/bold]",
)

console.print(table)

輸出長這樣：

另外還有不少功能也不錯，會讓畫面豐富不少。

第二堂：「Shell Tools and Scripting」

這個系列是從『MIT 的「The Missing Semester of Your CS Education」』這邊延伸出來的，這篇文章講第二堂課「Shell Tools and Scripting」。

這堂有點像是第一堂的延伸，在講更多 shell 的操作與工具，然後說明 shell script 怎麼寫。

開頭就先說明有 function，然後講了不少 magic variable，像是 $0、$1 到 $9，而 $@ 與 $# 也提到了 (但居然沒提到 $*)，然後再來是 $$、!! 與 $_。

然後提到 true 與 false，接著就講條件 || 與 && 了。後面就開始講 shell 裡面的 for 與 if，基本上到這邊已經能寫不少東西了？

後面就介紹更多工具...

MIT 的「The Missing Semester of Your CS Education」

MIT 推出的短期課程，在 CS 相關科系裡面不會教，但是如果學過的話會讓你的 CS 學習過程有很不一樣的改變：「The Missing Semester of Your CS Education」。

整個主軸是偏應用為主，其中花了很多篇章在講 CLI 下的工具，這點從每堂課的標題就可以看出來：

1/13: Course overview + the shell
1/14: Shell Tools and Scripting
1/15: Editors (Vim)
1/16: Data Wrangling
1/21: Command-line Environment
1/22: Version Control (Git)
1/23: Debugging and Profiling
1/27: Metaprogramming
1/28: Security and Cryptography
1/29: Potpourri
1/30: Q&A

我自己快速讀過去的時候發現，雖然這是入門課程，但我還是從裡面抓到了一些以前沒有關注的關鍵字 (像是 Python debugger pdb 與 profiling 相關的操作)。

接下來應該會開個連載來寫一下心得與感想...

RTorrent 0.9.8

RTorrent 算是我在 command line 下很喜歡用的 bittorrent client，前幾天釋出 0.9.8 版，距離上一個版本 0.9.7 一年多了：「RTorrent release version 0.9.8」。

從 changelog 可以看到目前主要都還是一些維護性質的修改，像是 bugfix 以及對新的 library 的更新，功能增加的不多...

另外一個是最近提供了 donate 的管道：「Donate to rTorrent development」。在 2017 年的時候有寫信問他有沒有 Patreon，他當時說他人在日本沒辦法處理，看起來後來解決了...

在 AWS 強制使用 MFA 的情況下，透過 CLI 操作

AWS 可以設定 IAM 使用者強制使用 MFA (包括 API 的操作)，在這種情況下如果要使用 AWS Command Line Interface 就得透過 AWS STS (AWS Security Token Service) 產生另外一組 key + secret + session key，然後這組通行時間預設是 12 小時。

相關的文章可以參考「How do I use an MFA token to authenticate access to my AWS resources through the AWS CLI?」這篇，然後我就寫了一段 shell script 來做這件事情。

首先是在 ~/.aws/config 內放入 MFA 的 ARN，像是這樣：

[profile mycompany]
mfa = arn:aws:iam::012345678901:mfa/gslin
region = us-east-1

然後就可以用 aws.mfa mycompany 指令產生出一個會把 key + secret + session key 包進去的 shell：

function aws.mfa() {
    local MFA_ARN
    local MFA_TOKEN
    local PROFILE="$1"
    local STSDATA

    MFA_ARN="$(python3 -c "import configparser; import os; c=configparser.ConfigParser(); c.read('{}/.aws/config'.format(os.environ['HOME'])); print(c['profile ${PROFILE}']['mfa'])")
"
    echo "Reading ${PROFILE} and going for token ${MFA_ARN} ..."

    echo -n 'MFA Password: '
    read -r MFA_TOKEN

    STSDATA="$(aws --profile "${PROFILE}" sts get-session-token --serial-number "${MFA_ARN}" --token-code "${MFA_TOKEN}")"
    export AWS_ACCESS_KEY_ID="$(echo "${STSDATA}" | jq -r .Credentials.AccessKeyId)"
    export AWS_SECRET_ACCESS_KEY="$(echo "${STSDATA}" | jq -r .Credentials.SecretAccessKey)"
    export AWS_SESSION_TOKEN="$(echo "${STSDATA}" | jq -r .Credentials.SessionToken)"

    echo 'Running an independant shell...'
    ${SHELL}
}

很明顯的裡面用到了 Python 3 與 jq，這兩個應該都可以直接裝系統的版本就可以了。

後續的操作就跟原來的用法都一樣，像是 aws --region=us-east-1 s3 ls 這樣的指令。

Mac 上讓 SSH 走 Socks5 的方式

在泰國住的飯店提供頗快的網路：

不過到 HiNet 看起來應該是有繞到美國之類的地區？

gslin@Gea-Suans-MacBook-Pro [~] [08:16/W4] mtr --report 168.95.1.1
Start: 2019-04-07T08:16:33+0700
HOST: Gea-Suans-MacBook-Pro.local Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 10.10.20.1                 0.0%    10    1.8   2.0   1.3   3.1   0.6
  2.|-- node-iyp.pool-101-108.dyn  0.0%    10    3.9   3.6   2.7   4.5   0.6
  3.|-- 172.17.36.105              0.0%    10    3.2   4.1   3.2   8.3   1.5
  4.|-- 203.113.44.205             0.0%    10    6.5   5.3   3.9   6.7   1.0
  5.|-- 203.113.44.177             0.0%    10    5.4   4.8   4.0   7.2   1.0
  6.|-- 203.113.37.194             0.0%    10    4.6   6.5   3.0  11.1   2.5
  7.|-- in-addr.net                0.0%    10    3.9   4.4   3.1   5.6   0.8
  8.|-- ???                       100.0    10    0.0   0.0   0.0   0.0   0.0
  9.|-- pcpd-4001.hinet.net        0.0%    10  355.4 356.9 355.1 365.4   3.0
 10.|-- pcpd-3212.hinet.net        0.0%    10  215.6 216.6 214.2 225.4   3.4
 11.|-- tpdt-3022.hinet.net        0.0%    10  219.4 215.9 214.0 221.5   2.5
 12.|-- tpdt-3012.hinet.net        0.0%    10  218.9 217.2 215.0 218.9   1.4
 13.|-- tpdb-3311.hinet.net        0.0%    10  212.5 212.9 211.9 214.1   0.6
 14.|-- 210-59-204-229.hinet-ip.h  0.0%    10  213.5 212.7 212.0 213.7   0.6
 15.|-- dns.hinet.net              0.0%    10  214.4 214.5 213.7 216.0   0.7

這樣有些影音服務只吃台灣 IP 就沒辦法用了，所以就得找方法來解決... 想法是透過我在 GCP 上開的機器繞回 HiNet，所以就得找 Mac 上 SSH 要怎麼設定 Socks5。

本來以為要用 tsocks 之類的工具 (i.e. 用 LD_PRELOAD 處理 connect())，但意外的在「SSH through a SOCKS Proxy? (client = OpenSSH OS X)」這邊看到可以用內建的 nc 處理，因為 nc 有支援 Socks5。

所以就變成兩包 ssh 指令：

ssh -D 1081 gcp.server
ssh -D 1080 -o "ProxyCommand nc -X 5 -x 127.0.0.1:1081 %h %p" hinet.server

然後 127.0.0.1:1080 就是打通的版本了，可以讓瀏覽器直接掛上去使用。

至於後來想起來不需要用 Socks5，可以用 ssh -L 而笑出來又是另外一件事情了 :o

用 jiracli 做一些基本常見的操作

公司用 Jira 在管理事情，但眾所皆知的是 Jira 的速度實在太慢 (而且沒改善過)，只好找些工具來避免使用 web interface...

翻了 GitHub 後看到 toabctl/jiracli 這個用 Python 開發的軟體，可以在 command line 上對 Jira 做些簡單常見的操作 (對我最主要是 issue 與 comment 的操作)，另外工具也支援使用 JQL 搜尋，所以可以透過工具拉下來後再用 grep 或是 awk 過濾...

比較需要注意的是，在第一次執行需要設定的三個參數中，password 的部分其實應該使用 API token (我這邊是 Google SSO，所以不確定一般帳號能不能用自己的密碼登入)，這個部分可以在個人設定頁面裡面產生 API token。

設定檔會在 ~/.jiracli.ini 裡面，程式應該會設為 0600，不過可以檢查一下就是了...

在 Terminal 看資料的 VisiData

在「VisiData」這篇看到的專案，專案的頁面在「A Swiss Army Chainsaw for Data」這邊，從 screenshot 可以看出來是 terminal 的檢視工具：

會注意到是因為支援 .xls：

explore new datasets effortlessly, no matter the format: vd foo.json bar.csv baz.xls

在 SUPPORTED SOURCES 這邊可以看到完整的支援清單，居然連 pcap 也支援，不知道看起來如何 :o

SQLite 的 CLI 操作工具 litecli

之前應該都是用 SQLite 提供的 cli 操作，現在有人提供支援 auto completion 與顏色的 cli 軟體了：「CLI for SQLite Databases with auto-completion and syntax highlighting」。

工具是用 Python 寫的，可以直接用 pip 安裝。