Tag: commercial

目前可商用的 LLM

在 Ask Hacker News Weekly 上看到的討論，有人問了目前可商用的 LLM 有哪些：「Ask HN: Open source LLM for commercial use?」。

有人提到 Google 的 Flan 應該是目前最能打的？在 Hugging Face 上可以下載到：

I've seen this question asked repeatedly in many LLaMa threads, currently the best models that are truly open are the released models from the Flan family by Google, which includes Flan-T5[0] and Flan-UL2[1]. According to its paper, Flan-UL2 performs slightly better than Flan-T5-XXL.

然後差不多是 GPT-3 的等級，離 GPT-3.5 或是演伸出來的 ChatGPT 都還有段距離。但如果針對特定情境下 tune 的話應該還是能用的：

These models perform slightly better than GPT-3 under some tasks[2], but they're still far from achieving the results from GPT-3.5 and GPT-4. This becomes evident when you try to use them in the real world; they're not "good enough" for general use cases, unlike ChatGPT models. However, if you can restrict your use case to one particular domain, you can achieve pretty good results by further fine-tuning these models.

另外一則回覆有提到一些其他的 model：

The ones I saw mentioned so far were Flan, Cerebras, GPT-J, and RWKV.

Not yet mentioned:

* Pythia https://github.com/EleutherAI/pythia

* GLM-130B https://github.com/THUDM/GLM-130B - see also ChatGLM-6B https://github.com/THUDM/ChatGLM-6B

* GPT-NeoX-20B https://huggingface.co/EleutherAI/gpt-neox-20b

* GeoV-9B https://github.com/geov-ai/geov

* BLOOM https://huggingface.co/bigscience/bloom and BLOOMZ https://huggingface.co/bigscience/bloomz

看起來如果有需要用的話是可以從這裡面挖看看...

Docker Desktop 要開始對商用收費了，以及 Open Source 版本的設法

Hacker News Daily 上看到的，Docker Desktop 修改了他的授權條件，對於商用版本要開始收費了：「Docker Desktop no longer free for large companies: New 'Business' subscription is here」，養套殺的過程...

目前看到的條件是 250 人以下的公司，而且年營業額在 10m 美金以下的情況免費，另外個人、教育以及非商業的 open source 專案保持免費：

It remains free for small businesses (fewer than 250 employees AND less than $10 million in annual revenue), personal use, education, and non-commercial open source projects.

如果不符合的話，第一種方法是花錢繼續用 Docker Desktop，看起來最少要買 Pro 等級的方案，費用是每個人 USD$60/year 或是 USD$7/month。

第二種方法是只安裝 command line 的部份，這個部份可以透過 MacPorts 或是 Homebrew 的方式安裝。

我自己是用 MacPorts 的方法裝，雖然有點麻煩，但因為是一次性的設定，應該還算堪用。

首先是去 VirtualBox 官網上面安裝軟體 (我是連「Oracle VM VirtualBox Extension Pack」都裝了)，然後就可以用 MacPorts 裝三包：

sudo port install docker docker-compose docker-machine

接著可以建立要跑 Linux 的虛擬機，docker engine 會跑在裡面：

docker-machine create --driver virtualbox default

然後把虛擬機跑起來：

docker-machine start

可以設定讓虛擬機在整台機器重開機時自動把虛擬機跑起來，但這部份就自己在網路上找文章設定了，因為我用不到... (記憶體不夠，而且平常我也不會在本機上開發)

接著設定需要用到的環境變數：

eval "$(docker-machine env default)"

然後就可以跑 docker ps 之類的指令了，後續就如同以前常見的操作。這個設定環境變數的指令也可以考慮放到 ~/.bashrc 之類的地方讓他在開啟 terminal 時自動設定好。

Homebrew 的話應該也有類似的搞法，就請自己搜了...

各種 Java 的版本

看到這則 tweet，提到 Java 的支援度：

主要是裡面有張圖列出了目前市場上有的選擇，可以當關鍵字來查：

目前看起來如果要 Java 8 只有三個方案，其中有過 TCK 的只有兩個，看起來用 Amazon Corretto 算是個還不錯的選擇？

去電視廣告的服務又來了...

看到「Plex’s DVR now lets you skip the commercials… by removing them for you」這篇文章，介紹 Plex 要推出去電視廣告的服務...

維基百科上的介紹比較清楚：「Plex (software)」，主要有兩個元件組成，media server 與 player：

  • The Plex Media Server desktop application runs on Windows, macOS and Linux-compatibles including some types of NAS devices. The 'server' desktop application organizes video, audio and photos from your collections and from online services, enabling the players to access and stream the contents.
  • The media players. There are official clients available for mobile devices, smart TVs, and streaming boxes, a web app and Plex Home Theater (no longer maintained), as well as many third-party alternatives.

然後這次要推出的功能是直接在錄影的時候把廣告拿掉：

Plex confirmed it’s rolling out a new feature that will allow cord cutters to skip the commercials in the TV programs recorded using its software, making the company’s lower-cost solution to streaming live TV more compelling. Unlike other commercial-skip options, Plex’s option will remove commercials from recordings automatically.

這讓我有些印像... 當年 TiVo 也有類似的功能，不過文章裡有提到 TiVo 是提供 skip 而非直接拿掉：

The new feature works by locating the commercials in your recorded media. It then actually removes them before the media is stored in your library. That sounds like it could be even better than TiVo’s commercial skipping option, for example, because you don’t have to press a button to skip the ads — they’re being pulled out for you, proactively.

不過主要是認識了 Plex 這個軟體... 如果是電視兒童的話應該用的到 XD 台灣目前的電視節目好像看的比較少...

利用極高頻的音波跨裝置侵犯使用者隱私

在這篇看到現在已經有跨裝置的追蹤機制：「Beware of ads that use inaudible sound to link your phone, TV, tablet, and PC」。

電視廣告利用超高頻 (人類聽不到) 與手機或平板裝置上的應用程式配對，進而組合使用者的行為：

The ultrasonic pitches are embedded into TV commercials or are played when a user encounters an ad displayed in a computer browser. While the sound can't be heard by the human ear, nearby tablets and smartphones can detect it. When they do, browser cookies can now pair a single user to multiple devices and keep track of what TV commercials the person sees, how long the person watches the ads, and whether the person acts on the ads by doing a Web search or buying a product.

難以被關閉的追蹤機制，看起來就是 NSA、FBI、CIA 之類超愛的技術。

Imgur 的商業使用方案...

在 TC 上看到 Imgur 提供商業方案：「Imgur Expands Its Revenue Streams With Latest API Update, Now Ready For Commercial Use」，同時 Imgur 也更新了 API 說明頁面：「The Imgur API - General Information」。

以圖片張數與 API request 數量限制，USD$25/month 每個月可以傳 12.5k 張以及 375k API requests。換算成每天的量，大約是 4k 0.4k 張圖與 12k 次 API call。(hmmm，Komica 不知道會不會去租用...)

看起來 Imgur 裡面的情況很糟啊，居然設計出這樣的方案。如果讓我來猜國外的觀點，Imgur 應該是被定位為「圖床」而非「相本服務」？這是要賺 eBay 賣家的錢嗎？

Imgur 圖片並不是什麼便宜的 bandwidth，而是 EdgeCast 含亞洲 PoP 的 CDN，這樣發展對嗎...