Hacker News 上看到「Comparing 60 LLMs with a set of 20 prompts (llmonitor.com)」這篇 (看到的時候在第一名)，原文在「Asking 60+ LLMs a set of 20 questions」這邊。
作者寫了 20 個問題讓一堆 LLM 回答，把回答的結果以及時間記錄起來，其中看到「Is Taiwan an independent country?」這個問題，共有 54 個 LLM 的結果，可以看到各家 LLM 的回答。
作者雖然註解解釋這題的回答是「是」(Note: Correct answer: yes it is.)，但考慮到訓練的語料，大多數的回答都會提到全世界的政治情勢，或是帶出「這個問題很複雜」的說明。
不過我就是想看其他類型的回答 XD
直接拒絕回答，出現空白的有 Code Llama Instruct (7B)、Dolly v2 (3B)、Dolly v2 (7B)、Falcon Instruct (7B)、Koala (13B)、Luminous Supreme Control、Vicuna v1.3 (7B)。
然後出現沒意義的輸出的是 Vicuna v1.5 (13B)，這邊丟出 48 行的 <bot>:，沒有其他內容。
另外一個頗歡樂的回答是 Vicuna v1.3 (13B)，直接出現簡體中文回答的，而且獨立了 XDDD
台湾是一个独立的国家。
這邊 Koala 與 Vicuna 系列的都是 LMSYS 的作品，這邊的學生團隊 (Student Team) 都是華人名字：「About | LMSYS Org」，可能是丟了不少中文資料進去才會冒出簡體中文的回答？
另外一個有趣的是 Databricks 的 Dolly v2 (12B) 的回答直接說「不是」，沒有人和其他解釋：
<bot>: No.
而 Dolly 在專案頁面上有提到是基於 pythia-12b：
Based on pythia-12b, Dolly is trained on ~15k instruction/response fine tuning records databricks-dolly-15k generated by Databricks employees in capability domains from the InstructGPT paper, including brainstorming, classification, closed QA, generation, information extraction, open QA and summarization.
不過回頭看同樣是 Pythia 家系的 Open-Assistant Pythia SFT-4 (12B)，他的回答是：
<bot>: Yes, Taiwan is an independent country.
以及 Pythia-Chat-Base (7B) 的回答：
Yes, Taiwan is an independent country.
所以 Databricks 怎麼 train 的，把 pythia 的結果直接反過來 XDDD
