line – Gea-Suan Lin's BLOG

第二堂：「Shell Tools and Scripting」

這個系列是從『MIT 的「The Missing Semester of Your CS Education」』這邊延伸出來的，這篇文章講第二堂課「Shell Tools and Scripting」。

這堂有點像是第一堂的延伸，在講更多 shell 的操作與工具，然後說明 shell script 怎麼寫。

開頭就先說明有 function，然後講了不少 magic variable，像是 $0、$1 到 $9，而 $@ 與 $# 也提到了 (但居然沒提到 $*)，然後再來是 $$、!! 與 $_。

然後提到 true 與 false，接著就講條件 || 與 && 了。後面就開始講 shell 裡面的 for 與 if，基本上到這邊已經能寫不少東西了？

後面就介紹更多工具...

MIT 的「The Missing Semester of Your CS Education」

MIT 推出的短期課程，在 CS 相關科系裡面不會教，但是如果學過的話會讓你的 CS 學習過程有很不一樣的改變：「The Missing Semester of Your CS Education」。

整個主軸是偏應用為主，其中花了很多篇章在講 CLI 下的工具，這點從每堂課的標題就可以看出來：

1/13: Course overview + the shell
1/14: Shell Tools and Scripting
1/15: Editors (Vim)
1/16: Data Wrangling
1/21: Command-line Environment
1/22: Version Control (Git)
1/23: Debugging and Profiling
1/27: Metaprogramming
1/28: Security and Cryptography
1/29: Potpourri
1/30: Q&A

我自己快速讀過去的時候發現，雖然這是入門課程，但我還是從裡面抓到了一些以前沒有關注的關鍵字 (像是 Python debugger pdb 與 profiling 相關的操作)。

接下來應該會開個連載來寫一下心得與感想...

Google 搜尋無法使用 Lynx 或是 w3m 操作了

看到「No more google for console junkies」這篇，裡面提到了新版的 Google 沒辦法用 Lynx 操作了，拿 w3m 測了一下發現也不行了，可以搜到東西，但連結的操作已經是 JavaScript 化了，而這兩個瀏覽器都不支援 JavaScript，所以就卡住了...

是個從早年的 Unobtrusive JavaScript 概念，到現在沒有 JavaScript 就不會動的年代...

有翻到一些有支援 JavaScript 的 terminal web browser (Links 與 ELinks)，但都只是實驗品，連輸入中文都有問題... :/

RTorrent 0.9.8

RTorrent 算是我在 command line 下很喜歡用的 bittorrent client，前幾天釋出 0.9.8 版，距離上一個版本 0.9.7 一年多了：「RTorrent release version 0.9.8」。

從 changelog 可以看到目前主要都還是一些維護性質的修改，像是 bugfix 以及對新的 library 的更新，功能增加的不多...

另外一個是最近提供了 donate 的管道：「Donate to rTorrent development」。在 2017 年的時候有寫信問他有沒有 Patreon，他當時說他人在日本沒辦法處理，看起來後來解決了...

在 command line 上操作的 Termshark

看到 Termshark 這個專案，程式碼在 gcla/termshark：

類似於 tshark 使用 CLI，但操作介面會比 tshark 友善不少，從說明可以看出來是透過 tshark 分析：

Note that tshark is a run-time dependency, and must be in your PATH for termshark to function. Version 1.10.2 or higher is required (approx 2013).

Mac 上讓 SSH 走 Socks5 的方式

在泰國住的飯店提供頗快的網路：

不過到 HiNet 看起來應該是有繞到美國之類的地區？

gslin@Gea-Suans-MacBook-Pro [~] [08:16/W4] mtr --report 168.95.1.1
Start: 2019-04-07T08:16:33+0700
HOST: Gea-Suans-MacBook-Pro.local Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 10.10.20.1                 0.0%    10    1.8   2.0   1.3   3.1   0.6
  2.|-- node-iyp.pool-101-108.dyn  0.0%    10    3.9   3.6   2.7   4.5   0.6
  3.|-- 172.17.36.105              0.0%    10    3.2   4.1   3.2   8.3   1.5
  4.|-- 203.113.44.205             0.0%    10    6.5   5.3   3.9   6.7   1.0
  5.|-- 203.113.44.177             0.0%    10    5.4   4.8   4.0   7.2   1.0
  6.|-- 203.113.37.194             0.0%    10    4.6   6.5   3.0  11.1   2.5
  7.|-- in-addr.net                0.0%    10    3.9   4.4   3.1   5.6   0.8
  8.|-- ???                       100.0    10    0.0   0.0   0.0   0.0   0.0
  9.|-- pcpd-4001.hinet.net        0.0%    10  355.4 356.9 355.1 365.4   3.0
 10.|-- pcpd-3212.hinet.net        0.0%    10  215.6 216.6 214.2 225.4   3.4
 11.|-- tpdt-3022.hinet.net        0.0%    10  219.4 215.9 214.0 221.5   2.5
 12.|-- tpdt-3012.hinet.net        0.0%    10  218.9 217.2 215.0 218.9   1.4
 13.|-- tpdb-3311.hinet.net        0.0%    10  212.5 212.9 211.9 214.1   0.6
 14.|-- 210-59-204-229.hinet-ip.h  0.0%    10  213.5 212.7 212.0 213.7   0.6
 15.|-- dns.hinet.net              0.0%    10  214.4 214.5 213.7 216.0   0.7

這樣有些影音服務只吃台灣 IP 就沒辦法用了，所以就得找方法來解決... 想法是透過我在 GCP 上開的機器繞回 HiNet，所以就得找 Mac 上 SSH 要怎麼設定 Socks5。

本來以為要用 tsocks 之類的工具 (i.e. 用 LD_PRELOAD 處理 connect())，但意外的在「SSH through a SOCKS Proxy? (client = OpenSSH OS X)」這邊看到可以用內建的 nc 處理，因為 nc 有支援 Socks5。

所以就變成兩包 ssh 指令：

ssh -D 1081 gcp.server
ssh -D 1080 -o "ProxyCommand nc -X 5 -x 127.0.0.1:1081 %h %p" hinet.server

然後 127.0.0.1:1080 就是打通的版本了，可以讓瀏覽器直接掛上去使用。

至於後來想起來不需要用 Socks5，可以用 ssh -L 而笑出來又是另外一件事情了 :o

Ubuntu 16.04 上多螢幕時登入畫面的設定問題

我的 Ubuntu 桌機在登入後的螢幕設定是這樣，設定在 ~/.config/monitors.xml 裡：

但登入時還是預設值 (四個螢幕都是打橫的)，雖然只是輸入個密碼沒有什麼大礙，但還是想找個方法讓登入畫面吃到正確的 monitors.xml。

查了文件在「Fixing Ubuntu’s Login Resolution」這邊發現 Ubuntu 16.04 (Unity) 是用 LightDM，在登入畫面是透過 lightdm 權限在跑，所以去 ~lightdm/.config/monitors.xml 下設定就可以了，如果用 symbolic link 的話要注意權限的問題。

不小心搞爛的話，可以用 Ctrl-Alt-F1 切到 command line 下登入修正...

用 jiracli 做一些基本常見的操作

公司用 Jira 在管理事情，但眾所皆知的是 Jira 的速度實在太慢 (而且沒改善過)，只好找些工具來避免使用 web interface...

翻了 GitHub 後看到 toabctl/jiracli 這個用 Python 開發的軟體，可以在 command line 上對 Jira 做些簡單常見的操作 (對我最主要是 issue 與 comment 的操作)，另外工具也支援使用 JQL 搜尋，所以可以透過工具拉下來後再用 grep 或是 awk 過濾...

比較需要注意的是，在第一次執行需要設定的三個參數中，password 的部分其實應該使用 API token (我這邊是 Google SSO，所以不確定一般帳號能不能用自己的密碼登入)，這個部分可以在個人設定頁面裡面產生 API token。

設定檔會在 ~/.jiracli.ini 裡面，程式應該會設為 0600，不過可以檢查一下就是了...

在 Terminal 看資料的 VisiData

在「VisiData」這篇看到的專案，專案的頁面在「A Swiss Army Chainsaw for Data」這邊，從 screenshot 可以看出來是 terminal 的檢視工具：

會注意到是因為支援 .xls：

explore new datasets effortlessly, no matter the format: vd foo.json bar.csv baz.xls

在 SUPPORTED SOURCES 這邊可以看到完整的支援清單，居然連 pcap 也支援，不知道看起來如何 :o

保存網頁的工具 ArchiveBox

pirate/ArchiveBox 這個專案：

The open source self-hosted web archive. Takes browser history/bookmarks/Pocket/Pinboard/etc., saves HTML, JS, PDFs, media, and more...

他的想法是用 command line 就可以保存：

echo 'https://example.com' | ./archive

然後提供一個網頁介面存取，類似於 Internet Archive 的技術架構？

不過 Internet Archive 因為在美國有拿到豁免權 (像是這篇所說的：「Internet Archive Gets DMCA Exemption To Help Archive Vintage Software」)，還是有他的方便性...