Tag: text

開源的語音助理 Leon

目前的語音助理都會把資訊傳回到中央伺服器，而 leon-ai/leon 則是希望在本地端解決：

Leon is an open-source personal assistant who can live on your server.

He does stuff when you ask him for.

You can talk to him and he can talk to you. You can also text him and he can also text you. If you want to, Leon can communicate with you by being offline to protect your privacy.

作者錄了一段目前版本的功能，可以看到語音輸入與分析運作的還不錯：

看到 1.0.0 beta，最近應該會釋出正式版，接下來就是看可以掛什麼 plugin 進去讓他更好用？

Mercury Web Parser 開源

看到「Mercury Goes Open Source!」這篇，Postlight 的團隊開源了 Mercury Web Parser，程式碼在 GitHub 上的 postlight/mercury-parser 可以取得。

這個版本是用 Node.js 寫的，可以從範例看出用法以及結果：

import Mercury from '@postlight/mercury-parser';
Mercury.parse(url).then(result => console.log(result););
{
  "title": "Thunder (mascot)",
  "content": "<div><div><p>This is the content of the page!</div></div>",
  "author": "Wikipedia Contributors",
  "date_published": "2016-09-16T20:56:00.000Z",
  "lead_image_url": null,
  "dek": null,
  "next_page_url": null,
  "url": "https://en.wikipedia.org/wiki/Thunder_(mascot)",
  "domain": "en.wikipedia.org",
  "excerpt": "Thunder Thunder is the stage name for the horse who is the official live animal mascot for the Denver Broncos",
  "word_count": 4677,
  "direction": "ltr",
  "total_pages": 1,
  "rendered_pages": 1
}

先前其他的軟體與服務可以參考「Evaluating Text Extraction Algorithms」這篇的整理與比較，不過這篇連原網站都不見了... 只能從 Internet Archive 上翻出來。

這個主題有不少團隊都做過 (給一個 html 網頁，抓出實際的內容塊落)，但也死了不少團隊... 比較有印象的是 Readability，在 2016 年收掉了：「The Readability bookmarking service will shut down on September 30, 2016.」。

要撈資料可以拿來用...

SQLite 的全文搜尋功能

算是補充之前看過，但一直沒研究的東西...

看到 Simon Willison 的「Exploring search relevance algorithms with SQLite」這篇才花些時間看了一下 SQLite 的搜尋功能。

看起來不論是 FTS4 或是 FTS5 都沒有處理 CJK 文字的功能，可能要當作 unigram 之類的方式處理 (參考「Unicode support for non-English characters with Sqlite Full Text Search in Android」這篇)，不過排名的部份有支援 BM25，整體看起來應該是還算堪用。

reCAPTCHA 與語音辨識：以子之矛，攻子之盾

Google 的 reCAPTCHA 大概是目前最常用的反制機器人工具了，但因為 accessibility 的原因 (而且應該是有法令要求)，還是需要提供盲人可以存取的方式，也就是以語音判斷是否是機器人。

unCaptcha2 就是用這塊，加上 Google 自家的語音辨識 API (也支援其他家 API) 可以直接打穿：

現有的程式碼已經先被 Google 反制，但目的是展示出這樣的概念。

直接對 csv 或 tsv 檔案下 SQL 指令的工具

這個工具好像發展一段時間了... 剛剛又再次看到「harelba/q」這個，可以在 command line 直接操作 csv 與 tsv 檔案的工具。

官方的範例直接是放圖片，不過裡面可以看到一些簡單的操作方式：

以前沒有這種工具的時候大多就是拿 Perl 出來搭了...

在 Terminal 下的瀏覽器 Browsh

最近幾天看到「Browsh is a fully-modern text-based browser.」這個專案，在 terminal 下跑的瀏覽器，而且宣稱支援現代網頁的各種標準：

不過實際上後端是接 Firefox，並不是他自己處理所有的內容：

Browsh is available as a small (~2.5MB) static binary on all major platforms. The only dependency is a recent 57+ version of Firefox.

這樣還是超吃資源的，是個好玩為主的專案...

Google 發表新的 TTS (Text-to-Speech) 技術 Tacotron 2

Tacotron 是 Google 發表的 TTS 技術 (i.e. 輸入文字，請電腦發音)，而前一版的 Tacotron 的錄音可以參考「Audio samples from "Tacotron: Towards End-to-End Speech Synthesis"」，論文則是在「Tacotron: Towards End-to-End Speech Synthesis」這邊可以看到。

這一版的則是在 Twitter 上看到有人提到：

這一版叫做 Tacotron 2，錄音可以參考「Audio samples from "Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions"」，論文在「Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions」。

這次在錄音頁面的最下面提供了盲測 (人類與 Tacotron 2 的錄音)，基本上已經分不出哪個是真人了...

Twitter 的 280 字帶來的差異

在「140 Vs. 280: Users Engage With Longer Tweets Data Shows」這邊分析了在 Twitter 上 0～140 與 141～280 字的 tweet 所帶來的互動差異：

可以看到較長的 tweet 會有比較多的 retweet 與 like，不過更細一步的分析就沒有了... 文章內也有提到資料的分析是怎麼來的：

The data parameters: 30,000 publisher tweets that included links between November 29 – December 6.
The results: The click-through rate was roughly equal for both tweet length types but overall engagement nearly doubled for longer tweets. On tweets containing 141-280 characters, the average retweet was a staggering 26.52% – compared the 13.71% for tweets with 0-140 characters. For likes, tweets containing 141-280 characters had an average of a whopping 50.28%, compared to 0-140’s 26.96%.

Mozilla 實做百度發表的 Speech-To-Text 引擎 Deep Speech

在 Hacker News 上看到 Mozilla 在 GitHub 上的 mozilla/DeepSpeech 這個專案，用 TensorFlow 實做了百度的「Deep Speech: Scaling up end-to-end speech recognition」論文：

A TensorFlow implementation of Baidu's DeepSpeech architecture

語音轉文字的方案，Mozilla 開專案實做出來了...

這程式碼需要安裝 Git Large File Storage 才能完整下載包含訓練資料的部份：

Manually install Git Large File Storage, then clone the repository normally:
git clone https://github.com/mozilla/DeepSpeech

而目前已經有的資料來自於 Mozilla 另外一個專案「Common Voice」：

The Common Voice project is Mozilla's initiative to help teach machines how real people speak.

Common Voice 這個專案目前只有英文，網頁上就可以參與 validation 過程...