Tag Archives: elasticsearch

WordPress.com 的 Elasticsearch

在「State of WordPress.com Elasticsearch Systems 2016」這邊描述他們 Elasticsearch 的架構。 有五個 cluster 打散,有跑 1.3.x 也有 1.7.x。把一般使用者與 VIP 分開,而全站的資料又是一組。另外在 2.3.x 的測試機上跑 en.support.wordpress.com 的資料 (看起來是短時間炸掉沒關係?XD)。 由於是自己生機器出來,所以機器的選擇上用大量的記憶體與 SSD 硬碟來換各種效能: Typical data server config: * 96GB RAM with 31GB for ES heap. Remaining gets used for … Continue reading

Posted in Blog, Computer, Murmuring, Network, Search Engine, Software | Tagged , , , , , , | Leave a comment

Amazon API Gateway 在東京也可以用了...

算是 AWS re:Invent 2015 上比較小的消息。Amazon API Gateway 在東京啟用:「Amazon API Gateway now available in the Asia Pacific (Tokyo) AWS Region」。 由於 API Gateway 可以接 Lambda,而這次 re:Invent 又發表了許多對 Lambda 的新功能 (參考先前的「AWS Lambda 大躍進」),這使得 API Gateway 的用途多出不少... 由於可以存取 VPC 內部資源,這表示 Lambda 可以去 RDS … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, Programming, Search Engine, Software, WWW | Tagged , , , , , , , , , , | Leave a comment

AWS 推出 Amazon Elasticsearch Service

AWS 推出了 Amazon Elasticsearch Service,也就是把 Elasticsearch (現在叫做 Elastic) 包裝起來的服務:「New – Amazon Elasticsearch Service」。 並不是所有 EC2 的 instance 種類都支援 (像是 m4.* 系列就不支援),不過也算夠多了,然後安裝時也包括了 Kibana: 另外一個比較重要的整合是可以把 CloudWatch 的資料倒進去,於是舊可以在 Kibana 裡面看這些數據了: 旁邊的 Amazon CloudSearch 哭哭了...

Posted in AWS, Cloud, Computer, Murmuring, Network, Search Engine, Software | Tagged , , , , , , , , , , | Leave a comment

把 AWS 的紀錄串起來倒進 Elasticsearch,用 Kibana 呈現

在「CloudWatch Logs Subscription Consumer + Elasticsearch + Kibana Dashboards」這篇文章裡,AWS 官方給了很棒的 screenshot,用一堆服務包起來後可以得到這樣的效果,提供給有興趣的人:

Posted in AWS, Cloud, Computer, Murmuring, Network, Search Engine | Tagged , , , , , , , , , , | Leave a comment

MySQL 5.7 的 InnoDB 的全文搜尋

在「InnoDB Full-Text : N-gram Parser」這邊看到對 MySQL 5.7 InnoDB 的全文搜尋功能介紹。開頭就有很重要的說明: I’m now very happy to say that in MySQL 5.7.6 we’ve made use of the new pluggable full-text parser support in order to provide you with an n-gram parser that can … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Network, Search Engine, Software | Tagged , , , , , , , , , | 1 Comment

維基基金會的 2014 年八月月報

維基基金會釋出八月月報 (好像晚了三個月?):「Wikimedia Foundation Report, August 2014」,在「Wikimedia Highlights, August 2014」有比較精簡的版本。 維基基金會在報告裡有提供一些 PV 相關的數據,包括 comScore 的數字與自己 server log 所統計出來的數據。另外也包含了財務狀況。 其中技術相關的是取自「Wikimedia Engineering/Report/2014/August」這頁。另外因為這是八月的資料,我順便偷看了九月與十月的「Wikimedia Engineering/Report/2014/September」與「Wikimedia Engineering/Report/2014/October」。 可以看到在測試 HHVM 的計畫,而且目前看起來還不錯:「[Wikitech-l] [Engineering] Migrating test.wikipedia.org to HHVM」,拿了 test.wikipedia.org 測試,其中 speed test 的部份有大幅改善: 1) Speed test: measure the time … Continue reading

Posted in CMS, Computer, Murmuring, Network, Search Engine, Software, Wiki, WWW | Tagged , , , , , | Leave a comment

Elasticsearch 1.2.0

由於 Elasticsearch 的想法與實做比起 Solr 吸引人,可以看到愈來愈多團體換過去... 而前幾天 Elasticsearch 的官方放出 1.2.0 與 1.1.2 的消息:「elasticsearch 1.2.0 and 1.1.2 released」。 1.2.0 最大的改變是強制使用 Java 7 了,也就是不能在 Ubuntu 12.04 下安裝 default-jre 了,變成要裝 openjdk-7-jre。(要注意,官方建議的是 Oracle 官方的 JDK,而非 OpenJDK) 如果是 Ubuntu 14.04 就沒這個問題。(因為 default-jre 會裝 Java 7) 另外一個大改變是,之前產生安全問題的 … Continue reading

Posted in Computer, Murmuring, Search Engine, Software | Tagged , , , , , , , , | Leave a comment

Wikimedia 將搜尋系統換到 Elasticsearch...

Wikimedia 打算把搜尋系統換到 Elasticsearch 上:「Wikimedia moving to Elasticsearch」。 之前的搜尋系統是他們自己刻的 lucene-search-2,現在則要換成 Elasticsearch。 可以注意到最近 Elasticsearch 的聲音愈來愈大,而 Solr 沒什麼長大的感覺...

Posted in CMS, Computer, Murmuring, Network, Search Engine, Software, Wiki, WWW | Tagged , , | Leave a comment