Tag: stereo

Fabrice Bellard 的新作品 TSAC codec

昨天在 Hacker News 上看到「TSAC: Low Bitrate Audio Compression (bellard.org)」這則 Fabrice Bellard 的新作品：「TSAC: Very Low Bitrate Audio Compression」。

Fabrice Bellard 這兩年玩很多 ML 相關的東西，像是 2021 的「LibNC: C Library for Tensor Manipulation」，以及 2023 的「ts_zip: Text Compression using Large Language Models」，這次則是用上了 transformer：

tsac is based on a modified version of the Descript Audio Codec extended for stereo and a Transformer model to further increase the compression ratio. Both models are quantized to 8 bits per parameter.

翻了一下 Descript Audio Codec，已經算是很厲害的了，在 44.1KHz mono 的情況下可以做到 8kbps (~1KB/sec)：

With Descript Audio Codec, you can compress 44.1 KHz audio into discrete codes at a low 8 kbps bitrate.

TSAC 則是將 mono 的版本做到 5.5kbps，另外 7.5kbps 就能傳雙聲道，也還是低於原來的 8kbps：

TSAC is an audio compression utility reaching very low bitrates such as 5.5 kb/s for mono or 7.5 kb/s for stereo at 44.1 kHz with a good perceptual quality. Hence TSAC compresses a 3.5 minute stereo song to a file of 192 KiB.

聽了一下算蠻厲害的，直接拿音樂來壓還是有不錯的效果？

從技術上的情境可以知道兩端都需要有足夠的算力 (得跑 ML algorithm)，然後在頻寬很不足的情況下通訊？商用的情境好像偏少一點，現在連沙漠與深山中都有衛星可以用，也許還是有些情境下用的到，像是 LoRa 的速度就差不多在這個區間。

倒是軍事上面需要考慮不少極端情況，用的機會可能比較高？

用 FFmpeg 處理單聲道聲音產生空間感

先提供指令 (需要新版 FFmpeg)，把單聲道的 1.wav 加工成 2.wav (兩聲道)：

ffmpeg -i 1.wav -filter_complex '[0:0]stereotools=delay=20[aout]' -map '[aout]' -y 2.wav

這是看了『如何讓聲音有「立體感」？』後的實驗：

裡面提到要怎麼讓單聲道錄音產生空間感，其中一個方式是將單聲道的 audio stream 複製到兩邊，但讓左右聲道差 0.02 秒 (也就是 20ms)，讓兩邊聲音有些微差距而產生空間感。

查了資料後發現這個功能可以靠 FFmpeg 裡 stereotools 的 delay 達成：

delay
Set delay in milliseconds how much to delay left from right channel and vice versa. Default is 0. Allowed range is from -20 to 20.

但 Ubuntu 16.04 內的 FFmpeg 版本不夠新 (2.8.15)，測試時說沒有 stereotools 這個 filter，所以找了「FFMPEG 4 : Jonathon F」這個 PPA，改用 4.x 版的 FFmpeg 就可以用了。

算是找個機會玩看看... 另外也熟悉一下 FFmpeg 的 -filter_complex 到底是什麼語法。