Library – Page 2 – Gea-Suan Lin's BLOG

Home » Computer » Software » Archive by category "Library" (Page 2)

兩個 gperf...

翻資料的時候覺得怎麼跟印象中的不太一樣，多花些時間翻了一下，發現原來有兩個東西同名...

一個是 GNU 的 gperf，給定字串集合，產生 C 或 C++ 的 perfect hash function (i.e. no collision)：

GNU gperf is a perfect hash function generator. For a given list of strings, it produces a hash function and hash table, in form of C or C++ code, for looking up a value depending on the input string. The hash function is perfect, which means that the hash table has no collisions, and the hash table lookup needs a single string comparison only.

另外一個是 Google 弄出來的 gperftools，malloc() 的替代品以及效能分析工具：

gperftools is a collection of a high-performance multi-threaded malloc() implementation, plus some pretty nifty performance analysis tools.

December 24, 2017 Gea-Suan LinComputer, Library, Murmuring, Programming, SoftwareNo Comment

Twitter 放出來的 Vireo，一套 Open Source 授權的 Video Processing Library

Twitter 放出 Vireo，一套以 MIT License 釋出的 Video Processing Library：「Introducing Vireo: A Lightweight and Versatile Video Processing Library」。專案庫在 GitHub 的 twitter/vireo 可以取得。

用 C++ 寫的，另外也已經提供 Scala 的接口，這應該是讓 Twitter 的人可以方便使用：

Vireo is a lightweight and versatile video processing library that powers our video transcoding service, deep learning recognition systems and more. It is written in C++11 and built with functional programming principles. It also optionally comes with Scala wrappers that enable us to build scalable video processing applications within our backend services.

在 Tools 的部份也可以看到很多功能，像是：

thumbnails: extracts keyframes from the input video and saves them as JPG images

viddiff: checks if two video files are functionally identical or not (does not compare data that does not affect the playback behavior)

另外要注意的是，預設不會將 GPL 的套件納入編譯，需要指定 --enable-gpl 才會編進去：

The following libraries are disabled by default. To enable GPL licensed components, they have to be present in your system and --enable-gpl flag have to be explicitly passed to configure

看起來主要就是最常見的那包... (libavformat / libavcodec / libavutil / libswscale / libx264)

December 16, 2017 Gea-Suan LinComputer, Library, Murmuring, Network, Social, SoftwareNo Comment

Mozilla 實做百度發表的 Speech-To-Text 引擎 Deep Speech

在 Hacker News 上看到 Mozilla 在 GitHub 上的 mozilla/DeepSpeech 這個專案，用 TensorFlow 實做了百度的「Deep Speech: Scaling up end-to-end speech recognition」論文：

A TensorFlow implementation of Baidu's DeepSpeech architecture

語音轉文字的方案，Mozilla 開專案實做出來了...

這程式碼需要安裝 Git Large File Storage 才能完整下載包含訓練資料的部份：

Manually install Git Large File Storage, then clone the repository normally:
git clone https://github.com/mozilla/DeepSpeech

而目前已經有的資料來自於 Mozilla 另外一個專案「Common Voice」：

The Common Voice project is Mozilla's initiative to help teach machines how real people speak.

Common Voice 這個專案目前只有英文，網頁上就可以參與 validation 過程...

December 4, 2017 Gea-Suan LinComputer, Library, Murmuring, SoftwareNo Comment

curl 將支援 Brotli 壓縮

在 Twitter 上看到有人提到 curl 支援 Brotli 了：「HTTP: implement Brotli content encoding」。

Brotli 對文字系列的資料比較有幫助 (像是 html)：

Unlike most general purpose compression algorithms, Brotli uses a pre-defined 120 kilobyte dictionary, in addition to the dynamically populated ("sliding window") dictionary. The pre-defined dictionary contains over 13000 common words, phrases and other substrings derived from a large corpus of text and HTML documents. Using a pre-defined dictionary has been shown to increase compression where a file mostly contains commonly-used words.

現在還在 master 裡面，之後的 release 版本應該就會支援了...

November 7, 2017 Gea-Suan LinComputer, Library, Murmuring, Network, Programming, Software, WWWNo Comment

大型 WordPress 站台會用到的 LudicrousDB (以及 HyperDB)

最近收到 HyperDB 的 mailing list 信件 (開頭是「[HyperDB] How can I set up HyperDB with latest version.」這封)，有人提到 HyperDB 很久沒更新了... 結果在信理看到有人回了「stuttter/ludicrousdb」這個專案：

LudicrousDB is an advanced database interface for WordPress that supports replication, failover, load balancing, & partitioning

兩個專案都是抽換掉 WordPress 在處理 database 的 library，然後希望自己控制 master/slave 的讀寫分離以及各機房之間的處理 (還有 replication lag)，而不要靠 ProxySQL 這類工具來做 (以時間來看，當初他們發展這些工具時，ProxySQL 這類的方案也還不夠成熟，大家都不會想要選這個方向...)。

先記錄下來，如果之後有遇到時可以當作是一個選項...

October 31, 2017 Gea-Suan LinBlog, Computer, Database, Library, Murmuring, MySQL, Network, Programming, SoftwareNo Comment

Node.js 安全性更新：zlib...

前幾天「Node.js 預定在十月 24 號發表安全性更新」提到 Node.js 會發表安全性更新，已經看到 4/6/8 都出新版了：「Node v4.8.5 (Maintenance)」、「Node v6.11.5 (LTS)」、「Node v8.8.0 (Current)」。

這次安全更新的 CVE 是 CVE-2017-14919：

CVE-2017-14919 - In zlib v1.2.9, a change was made that causes an error to be raised when a raw deflate stream is initialized with windowBits set to 8. On some versions this crashes Node and you cannot recover from it, while on some versions it throws an exception. Node.js will now gracefully set windowBits to 9 replicating the legacy behavior to avoid a DOS vector. nodejs-private/node-private#95

zlib 的 manual 對 windowBits 說明：

For the current implementation of deflate(), a windowBits value of 8 (a window size of 256 bytes) is not supported. As a result, a request for 8 will result in 9 (a 512-byte window). In that case, providing 8 to inflateInit2() will result in an error when the zlib header with 9 is checked against the initialization of inflate(). The remedy is to not use 8 with deflateInit2() with this initialization, or at least in that case use 9 with inflateInit2().

唔？XD

另外文章可以看出來 Node.js 團隊是選擇在 GitHub 上用另外一個 organization 在管這類不會事前公開的事情...

October 25, 2017 Gea-Suan LinComputer, Library, Murmuring, Network, Programming, Security, SoftwareNo Comment

nvm 換 n

前幾天在 Twitter 上抱怨 nvm 很慢，導致 Zsh 開起來很頓 (然後也同步到 Facebook 上)：

nvm 很慢的問題還是沒解啊...
— Gea-Suan Lin (@gslin) October 14, 2017

原因在於 .bashrc 或是 .zshrc 內初始化 nvm 時會呼叫 npm config get prefix，而這個命令很慢：「`npm config get prefix` takes incredibly long (7 - 70 seconds) #14458」。

後來在 Facebook 的留言處有朋友提了幾個方案... 其中一個是 n，花了些時間看軟體架構，有夠簡單... XD 對於不是拿 Node.js 開發的人應該是夠用了 (我只拿來跑一些用 Node.js 寫的工具)。

整個軟體就一個 shell script，把他丟進 ~/bin/ 裡面 (我有把 ~/bin/ 放到 PATH 裡)，就可以用了。透過 N_PREFIX 設定他的基地 (預設是 /usr/local，我是設成 $HOME)，剩下就跑 n lts，他就把 node 與 npm 兩個檔案裝好給你用。

路徑的部份要自己設定，將 $N_PREFIX/node_modules/.bin 放進 PATH，這樣安裝起來的模組如果有可執行工具可以用才能直接跑 (像是 gulp.js 的命令)。

另外，之所以會說不適合開發者用的部份，是因為 module 是跨版本共用的 (切換 node 版本時就是用另外一個版本配上去 XD)，所以比較不適合開發者使用...

October 22, 2017 Gea-Suan LinComputer, Library, Murmuring, Programming, Software1 Comment

有 Lazy Connection 功能的 PDO object

在「Aura.Sql」這邊看到有提供 Lazy Connection 的 PDO object，而且是繼承自本來的 PDO object：

Provides an extension to the native PDO along with a profiler and connection locator. Because ExtendedPdo is an extension of the native PDO, code already using the native PDO or typehinted to the native PDO can use ExtendedPdo without any changes.

Lazy connection. ExtendedPdo connects to the database only on method calls that require a connection. This means you can create an instance and not incur the cost of a connection if you never make a query.

之後可以拿來跟 Laravel 的 Eloquent 一起用看看。本來的 PDO 物件在建立時就會建立連線，對於連線的開銷其實蠻大的，用這個應該是個方向...

另外是 Profiler 的能力，需要用的時候應該會很好用：