copilot

跑在本機的 GitHub Copilot 替代品

Hacker News 上看到「FauxPilot – an attempt to build a locally hosted version of GitHub Copilot (github.com/moyix)」這個本機上跑 GitHub Copilot 協定的專案。專案的 GitHub 在「FauxPilot - an open-source GitHub Copilot server」這邊。

裡面用的是 Salesforce 放出來的 CodeGen，不過 Salesforce 提供了 350M、2B、6B 與 16B 的 model，但在 FauxPilot 這邊目前只看到 350M、6B 與 16B 的 model 可以用，少了 2B 這組，然後需要的 VRAM 就有點尷尬了：

[1] codegen-350M-mono (2GB total VRAM required; Python-only)
[2] codegen-350M-multi (2GB total VRAM required; multi-language)
[3] codegen-6B-mono (13GB total VRAM required; Python-only)
[4] codegen-6B-multi (13GB total VRAM required; multi-language)
[5] codegen-16B-mono (32GB total VRAM required; Python-only)
[6] codegen-16B-multi (32GB total VRAM required; multi-language)

13GB 剛好超過 3080 Ti 的 12GB，所以不是 3090 或 3090 Ti 的使用者就只能跑 350M 這個版本？看 Hacker News 上的討論似乎是有打算要弄 2B 的版本啦...

然後我自己雖然是 11GB 的 1080 Ti，想跑個 350M 的版本測試看看，但看起來相關的 Nvidia driver 沒裝好造成他識別不到，加上我是用 neovim，看了一下目前 ~/.config/github-copilot/hosts.json 的內容，程式碼應該是寫死到 GitHub API 上使用：

{"github.com":{"user":"gslin","oauth_token":"x"}}

先暫時放著好了，晚點等 2B 版本出現後再回來看看有沒有比較完整的指示...

AWS 也推出了 GitHub Copilot 的競爭對手 Amazon CodeWhisperer

AWS 推出了 Amazon CodeWhisperer，可以看做是 GitHub Copilot 的競爭產品：「Now in Preview – Amazon CodeWhisperer- ML-Powered Coding Companion」，在 Hacker News 上的討論還不多：「Copilot just got company: Amazon announced Codewhisperer (amazon.com)」。

目前還是 Preview 所以是免費的，但也還沒有提供價錢：

During the preview period, developers can use CodeWhisperer for free.

另外目前提供的程式語言只有 Python、Java 與 JavaScript：

The preview supports code written in Python, Java, and JavaScript, using VS Code, IntelliJ IDEA, PyCharm, WebStorm, and AWS Cloud9. Support for the AWS Lambda Console is in the works and should be ready very soon.

至於 training 的資料集，這邊有提到的是 open source 專案與 Amazon 自家的東西：

CodeWhisperer code generation is powered by ML models trained on various data sources, including Amazon and open-source code.

開發應該需要一段時間，不知道是剛好，還是被 GitHub Copilot 轉 GA 的事件強迫推出 Preview 版...

GitHub Copilot 宣佈 GA

GitHub Copilot 宣佈 GA：「GitHub Copilot is generally available to all developers」，Hacker News 上的討論可以看一下：「GitHub Copilot is generally available (github.blog)」。

價錢也出來了，US$10/mo 或是 US$100/year：

We’re making GitHub Copilot, an AI pair programmer that suggests code in your editor, generally available to all developers for $10 USD/month or $100 USD/year. It will also be free to use for verified students and maintainers of popular open source projects.

不過重點不是價錢，而是還沒有被挑戰過的 license 問題，像是在 Hacker News 上有人提到有些程式碼的授權是有感染性的 GPL 類的，這些在法院上還沒有被戰過。

不過還是很看好這個服務，畢竟可以處理掉很多無聊的 coding 時間... 查了一下發現 Neovim 已經有支援了，似乎可以來看看要怎麼玩 :o

GitHub Copilot 產生出來程式的安全性問題

看到「Encoding data for POST requests」這篇大家才回頭注意到 GitHub Copilot 首頁的範例本身就有安全漏洞：

async function isPositive(text: string): Promise<boolean> {
  const response = await fetch(`http://text-processing.com/api/sentiment/`, {
    method: "POST",
    body: `text=${text}`,
    headers: {
      "Content-Type": "application/x-www-form-urlencoded",
    },
  });
  const json = await response.json();
  return json.label === "pos";
}

其中 text=${text} 是一個 injection 類的漏洞，首頁的範例應該是被挑過的，但仍然出現了這個嚴重的問題，從這邊可以看出 GitHub 與 OpenAI 在這條線上的問題...

GitHub 與 OpenAI 合作推出的 GitHub Copilot

在 Hacker News 首頁上的第一名看到 GitHub 與 OpenAI 合作推出了 GitHub Copilot，對應的討論可以在「GitHub Copilot: your AI pair programmer (copilot.github.com)」這邊看到。

GitHub Copilot 會猜測你接下來會想要寫的「完整片段」，像是這樣：

不過 Hacker News 上面的討論有參與 alpha 測試的人的評價，大概 1/10 機率會猜對，即使如此，他還是給了很多有用的資訊 (像是函式與變數的名稱)：

fzaninotto

I've been using the alpha for the past 2 weeks, and I'm blown away. Copilot guesses the exact code I want to write about one in ten times, and the rest of the time it suggests something rather good, or completely off. But when it guesses right, it feels like it's reading my mind.

It's really like pair programming, even though I'm coding alone. I have a better understanding of my own code, and I tend to give better names and descriptions to my methods. I write better code, documentation, and tests.

Copilot has made me a better programmer. No kidding. This is a huge achievement. Kudos to the GitHub Copilot team!

然後也有人笑稱總算找到理由寫 comment 了：

pfraze

They finally did it. They finally found a way to make me write comments

反過來的另外一個大問題就是 copyright，這點在目前的問答集沒看到... 在 Hacker News 裡面的討論有提到這點，但目前沒有完整的定論。

目前只支援 VSCode，以後也許會有機會透過 LSP 支援其他的編輯器？

另外我想到 Kite 這個 machine learning 的 auto complete 工具，沒有那麼強大但也還不錯？