Tag Archives: rate

對於按讚數排名的方法

前幾天看到一篇 2009 年的老文章,在討論使用者透過「喜歡」以及「不喜歡」投票後,要怎麼排名的方法:「How Not To Sort By Average Rating」。 基本的概念是當使用者投票數愈多時就會愈準確,透過統計方法可以算一個信賴區間,再用區間的下限來排... 但沒想到公式「看起來」這麼複雜 XDDD Score = Lower bound of Wilson score confidence interval for a Bernoulli parameter 但實際的運算其實沒那麼複雜,像是 Ruby 的程式碼可以看出大多都是系統內的運算就可以算出來。其中的 z 在大多數的情況下是常數。 require 'statistics2' def ci_lower_bound(pos, n, confidence) if n == 0 … Continue reading

Posted in Computer, Murmuring, Programming | Tagged , , , , , , , , , , , , , , , | Leave a comment

AWS WAF 支援速率限制了

AWS WAF 宣佈支援 Rate-based 條件了,不過目前只支援五分鐘為單位的限制:「Protect Web Sites & Services Using Rate-Based Rules for AWS WAF」。 算是還不錯的功能,雖然目前稍微陽春一點...

Posted in AWS, Cloud, Computer, Murmuring, Network, Security, Service, WWW | Tagged , , , , , , | Leave a comment

Reddit 在處理 Page View 的方式

Reddit 說明了他們如何處理 pageview:「View Counting at Reddit」。 以 Reddit 的規模有提到兩個重點,第一個在善用 Redis 的 HyperLogLog 這個資料結構,當量大的時候其實可以允許有微小的誤差: The amount of memory varies per implementation, but in the case of this implementation, we could count over 1 million IDs using just 12 kilobytes of space, … Continue reading

Posted in Cassandra, Computer, Database, Murmuring, Network, Programming, Service, Software | Tagged , , , , , , , , , , , , , , , , , , , | Leave a comment

GitHub Apps (前身 GitHub Integrations) 的 Rate Limiting 變得更彈性

GitHub 宣佈了把 GitHub Integrations 改名為 GitHub Apps,另外 Rate Limiting 變得更彈性:「GitHub Apps (formerly Integrations) General Release」。 All GitHub Apps start with a rate limit of 5000 requests per hour. To facilitate growth we have added a dynamic rate limit for installations: … Continue reading

Posted in Computer, Murmuring, Network, Programming, Service | Tagged , , , , , , | Leave a comment

Backblaze 2017Q1 對硬碟的分析

Backblaze 放出 2017Q1 對硬碟的分析資料:「Hard Drive Stats for Q1 2017」。 相較於之前的報告 (Backblaze Hard Drive Stats for 2016),這次則是把硬碟數量考慮進去,做了一份有正負誤差的: 最近的趨勢沒什麼變,整體上來看 HGST 的品質還是最好的。

Posted in Murmuring | Tagged , , , , , , , | Leave a comment

超越線性成長的資料庫架構

標題取自 Percona 的「Better Than Linear Scaling」。 其實是因為機器數量增加,而且有妥善規劃,使得 cache 的 hit rate 上升而讓整體效率變好 (也就是 1 + 1 > 2)。 不只在 database 上會發生,在其他系統上其實會有類似的情況,剛好看到覺得很懷念 XD

Posted in Computer, Database, Murmuring, MySQL, Network, Software | Tagged , , , , , , , , | Leave a comment

Stripe 對於控制 API 使用量的作法

在「Scaling your API with rate limiters」這篇 Stripe 的 Paul Tarjan 提到了四種如何保護 API 的作法。 前兩種都是 rate limit。第一種是最標準的「你一分鐘可以用幾次」的方式,這是最容易理解的方式。第二種是「你同時間可以用幾個 API request」,這通常會用在大量消耗資源的 API 上,避免短時間內被打爆。 第三種是拉到整體來看,把 API 分成重要與不重要的,然後直接保留確保重要的 API 有一定的 capacity 可以用: We always reserve a fraction of our infrastructure for critical requests. If our … Continue reading

Posted in AWS, Cloud, Computer, Financial, Murmuring, Network, Programming, Security | Tagged , , , , , | Leave a comment

Google Chrome 55 的記憶體改善

前陣子 Google Chrome 55 出了,其中最讓人期待的是對記憶體的改善,有人整理了數據:「Chrome 55 uses ~30% less memory than Chrome 54」。 依照作者拿 weather.com 與 reddit.com 測試,前者的記憶體省了 26%,後者省了 30%,都相當明顯。我自己在升到 55 後有明顯感覺到改善,尤其是重開 Chrome 時重新讀取頁面的速度也快了不少... 這些改善主要是出自於「Fall cleaning: Optimizing V8 memory consumption」這邊提到對 V8 engine 的改寫,我感覺到速度變快應該是記憶體用量降低使得 CPU cache rate 提高的關係吧...

Posted in Browser, Computer, GoogleChrome, Murmuring, Network, Software, WWW | Tagged , , , , , , , , , , | Leave a comment

電信商對 Zero Rating 與網路中立性的問題

在「AT&T users will be able to stream DirecTV Now without using their data」這邊才看到 FCC 在這個月月初針對電信商對特定服務的 zero rating 發出警告:「The FCC tells AT&T it may be violating net neutrality with its DirecTV plans」: AT&T is far from the only US carrier to … Continue reading

Posted in Computer, Movie, Murmuring, Network, Political, Recreation, Social, Television | Tagged , , , , , , , , , , , , | Leave a comment

AWS 美東第二區開放

如同之前 AWS 的規劃,宣佈啟用美東第二區了 (us-east-2,在俄亥俄州):「Now Open – AWS US East (Ohio) Region」。看了一下 EC2 的價錢,與 us-east-1 是同一個級別的,其他的服務應該是都差不多... 另外因為跨州了 (而且跟 us-east-1 很近),所以官方也推薦拿來做異地服務: With just 12 ms of round-trip latency between US East (Ohio) and US East (Northern Virginia), you can make good use … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network | Tagged , , , , , , , , , , , , | Leave a comment