Tag: openai

微軟出手直接讓 Sam Altman 與 Greg Brockman 成立新團隊

不算太意外的一步，Satya Nadella (微軟的 CEO) 直接宣佈讓 Sam Altman 與 Greg Brockman 加入微軟，包含了其他的 team member，另外還特別講了一句會儘快提供需要的資源：

X (Twitter) 上的全文：

We remain committed to our partnership with OpenAI and have confidence in our product roadmap, our ability to continue to innovate with everything we announced at Microsoft Ignite, and in continuing to support our customers and partners. We look forward to getting to know Emmett Shear and OAI's new leadership team and working with them. And we’re extremely excited to share the news that Sam Altman and Greg Brockman, together with colleagues, will be joining Microsoft to lead a new advanced AI research team. We look forward to moving quickly to provide them with the resources needed for their success.

微軟與 Satya Nadella 在這次爆炸後，災難處理接近最完美的劇本了？

讓 Sam Altman 回去 OpenAI 大概不是好方案，很明顯已經有嫌隙了，尤其是直接被 Greg Brockman 點名過的 Ilya Sutskever。

把 Sam Altman 與 Greg Brockman 放出去找 VC 開新的公司，不如還是讓直接微軟吃下來。

現在變成全部都還是在微軟的帝國裡面。

這個方法 Satya Nadella 完全可以對董事會交代，也能對微軟自家內部合作的團隊交代。

另外推文裡有提到 Emmett Shear 接手 Interim CEO，這樣看起來 Mira Murati 應該也是會過去 Sam Altman 那邊了。

後續應該就是看團隊元氣大傷後可以恢復多快了，少掉的 Ilya Sutskever 這塊要怎麼補？

Greg Brockman (OpenAI 的 President) 宣佈離職

OpenAI 的 President，Greg Brockman 宣佈離職：

不過更重要的是後續的說明，看起來是與 Sam Altman 聯合起來整理情況，算是另外一邊第一手的資料？

目前主要是一些時間線的呈現，分別被解任與拔除 President。

這邊講的 Ilya 是 Ilya Sutskever，在 Sam Altman 被幹掉後有些八卦傳言有提到他，不過目前 Cofounders 這邊還沒直接開火，沒辦法驗證更多資訊，再繼續等看看有沒有什麼資訊還會冒出來...

Sam Altman (OpenAI 的 CEO) 被幹掉

Hacker News 首頁變得超卡，通常代表有大事... 看了一下 top 1 的文章，oh 幹這件事情很大條：「OpenAI's board has fired Sam Altman (openai.com)」。

OpenAI 的公告在「OpenAI announces leadership transition」這邊。

官方給了很嚴重的指控：

Mr. Altman’s departure follows a deliberative review process by the board, which concluded that he was not consistently candid in his communications with the board, hindering its ability to exercise its responsibilities. The board no longer has confidence in his ability to continue leading OpenAI.

In a statement, the board of directors said: “OpenAI was deliberately structured to advance our mission: to ensure that artificial general intelligence benefits all humanity. The board remains fully committed to serving this mission. We are grateful for Sam’s many contributions to the founding and growth of OpenAI. At the same time, we believe new leadership is necessary as we move forward. As the leader of the company’s research, product, and safety functions, Mira is exceptionally qualified to step into the role of interim CEO. We have the utmost confidence in her ability to lead OpenAI during this transition period.”

這邊就用 ChatGPT 來翻譯好了：

奧特曼先生的離職是在董事會進行了深思熟慮的審查過程之後，董事會得出結論認為他在與董事會的溝通中並不總是坦率，這阻礙了董事會行使其職責的能力。董事會不再對他繼續領導OpenAI的能力有信心。

董事會在一份聲明中表示：“OpenAI是有意識地建立起來，以推進我們的使命：確保人工通用智能造福全人類。董事會仍然全力致力於服務於這一使命。我們感謝山姆對OpenAI創立和成長所做的許多貢獻。同時，我們認為隨著我們向前邁進，需要新的領導層。作為公司研究、產品和安全功能的負責人，米拉非常適合擔任臨時首席執行官的角色。我們對她在這個過渡時期領導OpenAI的能力充滿信心。”

現在 X (Twitter) 上面也有不少人在討論 (八卦)，但看起來只能先讓子彈飛一下...

OpenAI 的 API 又降價了...

這次 OpenAI 的 API 又降價了，這次是倍數等級的降：「New models and developer products announced at DevDay」。

GPT-4 Turbo 的部分直接是拉高 context 以及降低價錢，從本來的 8K/32K context，直接拉高到單一 128K context 產品，而且價錢直接砍了 3/4 左右：

GPT-4 8K
Input: $0.03
Output: $0.06

GPT-4 32K
Input: $0.06
Output: $0.12

GPT-4 Turbo 128K
Input: $0.01
Output: $0.03

GPT-3.5 Turbo 則是直耶拿掉 4K context 產品，然後把價錢砍了一半：

GPT-3.5 Turbo 4K
Input: $0.0015
Output: $0.002

GPT-3.5 Turbo 16K
Input: $0.003
Output: $0.004

GPT-3.5 Turbo 16K
Input: $0.001
Output: $0.002

GPT-3.5 Turbo fine-tuning 的服務則是從本來 4K context 產品線，多了一條 16K context 的產品線，價錢也是砍了一半以上：

GPT-3.5 Turbo 4K fine-tuning
Training: $0.008
Input: $0.012
Output: $0.016

GPT-3.5 Turbo 4K and 16K fine-tuning
Training: $0.008
Input: $0.003
Output: $0.006

另外也多了一些非文字類的功能，包括了影像與聲音的內容。

記得之前有想過的一些點子，當時粗算了一下覺得太貴，好像可以重算看看...

OpenAI 的 web crawler 叫做 GPTBot

Hacker News 上看到「GPTBot – OpenAI’s Web Crawler (openai.com)」，原文是 GPTBot 這個，提到了 OpenAI 的 web crawler，User-Agent 會長這樣：

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

然後有提到他會遵守 robots.txt。

另外提供了 web crawler 會使用的 IP range，放在 gptbot-ranges.txt 這邊，目前裡面看起來只有 40.83.2.64/28，是 Azure 的網段。

這個行為有點微妙了，要開始自己掃資料嗎？

ChatGPT 提供正式付費的 API

OpenAI 公佈了 ChatGPT 的付費 API 了：「Introducing ChatGPT and Whisper APIs」。

比較意外的是這次的 model 價錢直接比 text-davinci-003 (GPT-3.5) 少了 90%，也就是直接 1/10 的價錢：

Model: The ChatGPT model family we are releasing today, gpt-3.5-turbo, is the same model used in the ChatGPT product. It is priced at $0.002 per 1k tokens, which is 10x cheaper than our existing GPT-3.5 models. It’s also our best model for many non-chat use cases—we’ve seen early testers migrate from text-davinci-003 to gpt-3.5-turbo with only a small amount of adjustment needed to their prompts.

看起來基本的架構是相容的，現有的 text-davinci-003 轉到 gpt-3.5-turbo 看起來不用花太多功夫？不過 API 是不同隻，不能直接轉：

We’ve created a new endpoint to interact with our ChatGPT models[.]

從 Python bindings 可以看到新的用法：

import openai

completion = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=[{"role": "user", "content": "Tell the world about the ChatGPT API in the style of a pirate."}]
)

print(completion)

這樣就真的就可以想像得到很多 startup 的輪替了...

用 AI 模型判斷是否為 AI 產生的文字

OpenAI 放出了新的 model，可以用來判斷是否為 AI 產生的文字：「New AI classifier for indicating AI-written text」。

但目前的成效其實還是不太行，只以英文的成效來看，true positive 只有 26%，而 false positive 是 9%：

In our evaluations on a “challenge set” of English texts, our classifier correctly identifies 26% of AI-written text (true positives) as “likely AI-written,” while incorrectly labeling human-written text as AI-written 9% of the time (false positives).

另外也有提到弱點，像是比較短的內容機很難辨認：

The classifier is very unreliable on short texts (below 1,000 characters). Even longer texts are sometimes incorrectly labeled by the classifier.

然後就是有正確答案的內容也很難辨認，因為正確答案幾乎都是一樣的：

Text that is very predictable cannot be reliably identified. For example, it is impossible to predict whether a list of the first 1,000 prime numbers was written by AI or humans, because the correct answer is always the same.

另外題到了技術上的限制，現在的方法比較像是「辨認是不是從某些 corpus 訓練出來的 model，所產生的文字」，而非通用性的 AI 文字偵測：

Classifiers based on neural networks are known to be poorly calibrated outside of their training data. For inputs that are very different from text in our training set, the classifier is sometimes extremely confident in a wrong prediction.

看起來是還不到可以用的程度...

OpenAI 推出 ChatGPT Plus

OpenAI 提出了 ChatGPT 的付費方案：「Introducing ChatGPT Plus」。

目前只開美國：

ChatGPT Plus is available to customers in the United States, and we will begin the process of inviting people from our waitlist over the coming weeks. We plan to expand access and support to additional countries and regions soon.

公告的價錢是 US$20/mo，基本上就是保證使用權。這跟之前有傳言 US$42/mo 叫 Professional 的方案低了不少：「ChatGPT users report $42 a month pricing for ‘pro’ access but no official announcement yet」：

The new subscription plan, ChatGPT Plus, will be available for $20/month, and subscribers will receive a number of benefits:

  • General access to ChatGPT, even during peak times
  • Faster response times
  • Priority access to new features and improvements

應該是會訂起來用，光是現在 free tier 就已經找到一些常用的模式，可以省下不少時間...

用 DALL·E 2 的圖當作網誌文章的圖片

在 Hacker News 上看到「I replaced all our blog thumbnails using DALL·E 2 (deephaven.io)」這個點子，原文在「I replaced all our blog thumbnails using DALL·E 2 for $45: here’s what I learned」這邊。

網誌文章如果包含好的圖片時，曝光度與互動都會比較多。所以作者就想到用 OpenAI 的 DALL·E 2 來搞事了：給個描述，請 DALL·E 2 生成圖片。

文章裡面有很多產生出來的圖都蠻有趣的，像是「a cute blue colored gopher with blue fur programming on multiple monitors displaying many spreadsheets, digital art」這個描述生出來的圖：

不過不算便宜，他花了 US$45 生成大約一百篇文章的圖：

I spent the weekend and $45 in OpenAi credits generating new thumbnails that better represent the content of all 100+ posts from our blog.

如果用先前「玩玩文字轉圖片的 min(DALL·E)」這邊提到的方法自己搞不知道可不可行？

GitHub Copilot 產生出來程式的安全性問題

看到「Encoding data for POST requests」這篇大家才回頭注意到 GitHub Copilot 首頁的範例本身就有安全漏洞：

async function isPositive(text: string): Promise<boolean> {
  const response = await fetch(`http://text-processing.com/api/sentiment/`, {
    method: "POST",
    body: `text=${text}`,
    headers: {
      "Content-Type": "application/x-www-form-urlencoded",
    },
  });
  const json = await response.json();
  return json.label === "pos";
}

其中 text=${text} 是一個 injection 類的漏洞，首頁的範例應該是被挑過的，但仍然出現了這個嚴重的問題，從這邊可以看出 GitHub 與 OpenAI 在這條線上的問題...