bitrate

Fabrice Bellard 的新作品 TSAC codec

昨天在 Hacker News 上看到「TSAC: Low Bitrate Audio Compression (bellard.org)」這則 Fabrice Bellard 的新作品：「TSAC: Very Low Bitrate Audio Compression」。

Fabrice Bellard 這兩年玩很多 ML 相關的東西，像是 2021 的「LibNC: C Library for Tensor Manipulation」，以及 2023 的「ts_zip: Text Compression using Large Language Models」，這次則是用上了 transformer：

tsac is based on a modified version of the Descript Audio Codec extended for stereo and a Transformer model to further increase the compression ratio. Both models are quantized to 8 bits per parameter.

翻了一下 Descript Audio Codec，已經算是很厲害的了，在 44.1KHz mono 的情況下可以做到 8kbps (~1KB/sec)：

With Descript Audio Codec, you can compress 44.1 KHz audio into discrete codes at a low 8 kbps bitrate.

TSAC 則是將 mono 的版本做到 5.5kbps，另外 7.5kbps 就能傳雙聲道，也還是低於原來的 8kbps：

TSAC is an audio compression utility reaching very low bitrates such as 5.5 kb/s for mono or 7.5 kb/s for stereo at 44.1 kHz with a good perceptual quality. Hence TSAC compresses a 3.5 minute stereo song to a file of 192 KiB.

聽了一下算蠻厲害的，直接拿音樂來壓還是有不錯的效果？

從技術上的情境可以知道兩端都需要有足夠的算力 (得跑 ML algorithm)，然後在頻寬很不足的情況下通訊？商用的情境好像偏少一點，現在連沙漠與深山中都有衛星可以用，也許還是有些情境下用的到，像是 LoRa 的速度就差不多在這個區間。

倒是軍事上面需要考慮不少極端情況，用的機會可能比較高？

Google 新推出的 Lyra audio codec

Hacker News Daily 上看到「Lyra audio codec enables high-quality voice calls at 3 kbps bitrate」，講 Google 新推出的 Lyra audio codec：「Lyra: A New Very Low-Bitrate Codec for Speech Compression」，論文在「Generative Speech Coding with Predictive Variance Regularization」這邊可以抓到。

目前 Google 提出來的想法是想辦法在 56kbps 的頻寬下實現還堪用的視訊通話：

Pairing Lyra with new video compression technologies, like AV1, will allow video chats to take place, even for users connecting to the internet via a 56kbps dial-in modem.

這次的突破在於可以使用 3kbps 的頻寬傳輸，但清晰度比 Opus 的 6kbps 效果還好不少。

Google 在文章裡面給了兩個 sample，一個是乾淨背景音，另外一個是吵雜的背景音，跟 Opus 與 Speex 比起來都好很多。

論文是說不需要太高的運算力，但沒翻到 GitHub 之類的 source code，先當作參考：

We provide extensive subjective performance evaluations that show that our system based on generative modeling provides state-of-the-art coding performance at 3 kb/s for real-world speech signals at reasonable computational complexity.

用 Machine Learning 改善 Streaming 品質的服務與論文

在 Hacker News 上看到「Puffer」這個服務，裡面利用了 machine learning algorithm 動態調整 bitrate，以提昇傳輸品質。

測試得到的數據後來被整理起來一起放進論文：「Continual learning improves Internet video streaming」。

在開頭介紹了 Fugu 這個演算法：

We describe Fugu, a continual learning algorithm for bitrate selection in streaming video.

而 Puffer 就是實驗網站：

We evaluate Fugu with Puffer, a public website we built that streams live TV using Fugu and existing algorithms. Over a nine-day period in January 2019, Puffer streamed 8,131 hours of video to 3,719 unique users.

這個站台提供了許多真實的頻道進行測試：

Stream live TV in your browser. There's no charge. You can watch U.S. TV stations affiliated with the NBC, CBS, ABC, PBS, FOX, and Univision networks.

可以看到 Fugu 的結果很好，比起其他提出的方案是全面性的改善：

這邊是用 WebSocket 測試，並且配合了不同的 TCP congestion algorithm，沒有太考慮額外的計算成本...