Tag: perl

nginx + AWStats

AWStats 是個很老牌的分析工具，直接對 access log 分析後提供報表，本來以為是完全沒在動的專案，但從版本記錄發現 2020 年與 2023 年各有一版修安全性問題，看起來還是有在維護？

會想到要裝是因為這幾天被砍站，CPU credit balance 低到觸發我設定的 alarm：

除了處理外，也想快速看一下發生什麼事情，而這種砍站的在 JavaScript 類的分析服務上不會看到，需要直接對 server log 分析，所以就想到 AWStats 了...

Ubuntu 可以透過 sudo apt install -y awstats 安裝，裝完以後會看到 /etc/cron.d/awstats 裡面每十分鐘會自己跑一次。

預設的設定目錄在 /etc/awstats 裡面，而且有系統預設的 awstats.conf 與讓使用者蓋過去的 awstats.conf.local，可以避免升級時直接把使用者自己設定的值蓋掉。

最少有幾個要設定需要設，可以參考官方文件「AWStats configuration directives/options」裡面的說明：

LogFile="/var/log/nginx/blog.gslin.org_ssl-access.log"
LogFormat=1
SiteDomain=blog.gslin.org

接下來因為 AWStats 是 CGI script，但 nginx 不直接支援 CGI，所以需要找工具透過 FastCGI 接 CGI 程式，在這邊我是用 fcgiwrap 轉，這個軟體可以直接裝：

sudo apt install -y fcgiwrap

網路上翻文件看到也不少人是用 PHP 轉的 (應該是互相 copy & paste)，也是個方法...

接下來就是去 document root 下面把 cgi-bin 以及 icon 目錄先接起來：

cd /srv/www.example.com/public
sudo ln -s /usr/share/awstats/icon awstats-icon
sudo mkdir cgi-bin
cd cgi-bin
sudo ln -s /usr/lib/cgi-bin/awstats.pl .

然後是 nginx 這邊的設定，我只放 awstats.pl 給 fcgiwrap：

    location /cgi-bin/awstats.pl {
        include fastcgi.conf;
        fastcgi_pass unix:/var/run/fcgiwrap.socket;
    }

另外在意的人可以用 nginx 的 auth_basic 與 auth_basic_user_file 指定帳號密碼，擋外部的存取。

過個十分鐘 (或是半小時，如果 access log 比較多，第一次跑比較慢的話) 就可以直接在 https://www.example.com/cgi-bin/awstats.pl 上看到了。

這報表有種懷舊感...

Linux 上的 GNU sed 與 macOS 內的 sed 的 in-place 差異

結論：用 Perl。

寫 shell script 的時候遇到的問題，在 Linux 上面使用 sed 換檔案裡面的字串，但不想要產生 backup file 的方式是：

sed -i -e 's/foo/bar/' example.txt

但在 macOS 內建的 sed 則是：

sed -i '' -e 's/foo/bar/' example.txt

也就是說前者 GNU sed 是處理 $1 (argv[1]，anyway) 後面貼著的參數，而後者 macOS 的則是吃 $2 (argv[2]) 的參數。

在 Stack Overflow 上的「sed in-place flag that works both on Mac (BSD) and Linux」這邊有討論，看起來 sed 上沒有通解。

翻了 The Open Group 上的說明，sed 應該是定義在 POSIX 裡面，而從文件裡面沒有提到 backup file 可以知道這是各家自己實作的功能：「sed」。

所以一種解法是用 detection 的方式針對不同的 sed 給不同的指令；而另外一種解法是找其他工具。後者考慮到普及性，用 Perl 應該會是比較好的方式，目前不是 minimal 類的系統應該都還有 Perl 可以用：

perl -pi -e 's/foo/bar/' example.txt

但這樣跑在 CI 裡面的時候就得小心一點了，如果選到 minimal image 的話就會中獎... (煩躁？)

Perl 5.38 引入的 class

在 Hacker News 首頁上看到「Perl 5.38 (perl.org)」這個，從討論裡面可以看到比較大的改變是支援了 class 語法，對應的文件在 perlclass 這邊：

This document describes the syntax of the Perl's class feature, which provides native keywords supporting object-oriented programming paradigm.

傳統上的作法是用 bless，對一個 reference 上面綁定 class，也因為這是很底層的實作，所以社群就有很多物件的封裝，像是古董的 Class::Accessor，或是後來有在 Perl community 流行一陣子的 Moose。

目前的 class 看起來像是 syntactic sugar？加上 Perl community 的能量沒有多高，長時間混用的情況應該是跑不掉...

用 Perl 把 log 丟上 Slack

因為想在 Raspberry Pi 上面把一些 log 丟上 Slack，本來看到「Stream Any Log File to Slack Using curl」這篇，但發現裡面在把字串包進 JSON object 的方法太髒 (直接把 " 換成 ')，另外一方面是 Slack 已經在宣導不要用舊版的 Incoming Webhooks，所以決定用其他方式來處理。

選擇 Perl 主要是因為有一陣子沒有用 Perl 寫東西了，倒不是什麼特別的原因 (如果考慮到 Raspberry Pi 上資源有限的話，應該用 C 或是 Rust 或是 Go，但我的 Raspberry Pi 還沒忙到這種程度...)，所以決定用 Perl 來實做這個程式，把 log 檔案丟上 Slack：

這邊有些比較不太常見的選擇：

  • 不用 File::Tail 而反而是用 pipe 的方式取得 tail -F 的輸出，是因為 File::Tail 非常舊了 (2015)，實做上沒有用到 inotify 類的界面監控檔案的變化，反而是系統的 tail 有做。
  • 用 JSON::PP (pure perl 版本) 而不是 JSON 是因為 JSON::PP 在 Perl 5.14+ 後內建了，我沒有太在意效能，這也是上面放 use v5.14 的原因。
  • 這邊的 API 呼叫還是選擇了 WWW::Mechanize 是因為沒有內建的套件可以處理 HTTPS 連線 (可以參考 Perl core modules 這邊)，既然要另外安裝，就裝個支援度比較完整的 libwww-mechanize-perl 來用。

然後查了一下 // 的用法在 Perl 5.10+ 就支援了，好早...

Perl 在這十年的效能改善

看到「Perl performance evolution over the last decade」這篇，作者看到大家在講 Python 3.11 的效能改善後，也想看一下 Perl 這邊的效能改善。

作者從 2012 年的 Perl 5.12 開始測，到 2022 年出的 Perl 5.36，最後面的表可以看到大概是 30%：

以十年的跨度來看，30% 成長不怎麼多，但畢竟還是有效能提昇，用很舊的版本的人還是可以考慮昇個級，沒撞到相容性問題的話算是免費的效能提昇。

當年比較驚人的應該還是 PHP 的 5.6 到 7.0，效能差不多是翻倍，讓整個 PHP community 有更多的資源可以用，framework 可以寫的更揮霍一些 XD

Perl 的 Regular Expression 的強度：NP-complete

這篇稍微偏 CS 理論一些...

以前在學校學 Formal language 的時候會帶出 Grammer、Language、Automaton 三個項目，就像是維基百科上的條列：

裡面可以看到經典的 Regular expression 會被分到 RG/RL/FSM 這三塊。

前幾天看到 gugod 寫的「[Perl] 以正規表示式來定義文法規則」這篇，裡面試著用 Perl 的 regular expression (perlre) 建構「遞歸下降解析器」 (Recursive descent parser)。

Recursive descent parser 可以當作是 CFG 的子集合，而 CFG 對應到的語言是 CFL，另外他對應到的自動機是 PDA。

我們已經知道 perlre 因為支援一堆奇怪的東西 (像是 backreference 或是 recursive pattern)，所以他能接受的 language 已經超過 RL，但我很好奇他能夠做到什麼程度。

用搜尋引擎翻了翻，查到對 PCRE 的分析 (這是一套與 Perl regular expression 語法相容的 library)：「Which languages do Perl-compatible regular expressions recognize?」。

在裡面有人提到「The true power of regular expressions」這篇文章，裡面給了一個在 PTIME 演算法，將 3SAT 轉換到 PCRE 裡解，這證明了 PCRE 是 NP-hard；另外也很容易確認 PCRE 是 NP，所以就達成了 NP-complete 的條件了...

本來一直以為 PCRE 只是 CFG/CFL/PDA 而已，沒想到這麼強，NPC 表示大多數現有的演算法都可以轉成 PCRE 形式放進去跑... XD

Perl 6 的名字被拿出來談...

在「Is Perl 6 Being Renamed?」這邊看到提到 Perl 6 名字的問題，主要是因為 Perl 6 跟現有 Perl 5 已經是不同的東西 (有點類似於當初 Python 2 到 Python 3 的計畫，但是差異比 Python 那邊多很多)，而導致被提出來討論是否還要繼續使用 Perl 這個名字了：「"Perl" in the name "Perl 6" is confusing and irritating」。

When Perl 6 was announced, it was seen the way that Perl 2, Perl 3, Perl 4, and Perl 5 were seen: replacements for "$VERSION - 1". Over time, it became clear that though Perl 6 was in the same family as Perl 5, a straightforward migration path was unlikely. One only needs to look at the problems with Python 2 and Python 3 and the upgrade obstacles with their minor syntactic differences to understand that an upgrade from Perl 5 to Perl 6 isn't trivial.

如果把 Perl 5 與 Perl 6 當作不同的程式語言來看，這個問題就變成非技術性的問題了 (甚至是政治問題)。

接下來應該會是一連串混亂的討論，但解決問題的第一步永遠是先面對問題，至少這個問題被拿到檯面上「討論」了...

macOS 打算移除 Perl/Python/Ruby

從 beta 版的 release note 可以看到 macOS 打算在 10.15 移除 Perl、Python 與 Ruby：「macOS 10.15 Beta Release Notes」。

Scripting language runtimes such as Python, Ruby, and Perl are included in macOS for compatibility with legacy software. Future versions of macOS won’t include scripting language runtimes by default, and might require you to install additional packages. If your software depends on scripting languages, it’s recommended that you bundle the runtime within the app. (49764202)

看起來會另外包一份出來... 不過這樣內建的工具就少了些，雖然 shell script 是 turing machine... :o

Perl 上的 Monkey Patch

這整個週末都在跟 Net::DNS 奮戰 edns-client-subnet，遇到模組內的一小段程式有 bug，先用 monkey patch 硬上，之後再看看要怎麼丟 patch 回 upstream。

monkey patch 的方法主要是參考「How can I monkey-patch an instance method in Perl?」這邊提供的方法而來的。

由於實際的行為是 subroutine redefined (會產生警告訊息)，所以要局部關掉 warnings，然後再把整個 subroutine 換掉：

use BugPackage;

{
    no warnings;
    local *BugPackage::bug_function = sub {
        # new code
    };
}

這樣可以在不修改原始模組程式碼的情況下抽換。