Tag Archives: reddit

Reddit 的 Deploy 機制 (的歷史)

Posted on June 6, 2017 by Gea-Suan Lin

Reddit 主要是用 Python 寫的，這邊介紹了他們歷年來的 Code Deploy 系統：「The Evolution of Code Deploys at Reddit」。 最早期的時候 (2007 到 2010) 是用 rsync 更新程式碼，然後跑個迴圈用 ssh 連進去重跑： # build the static files and put them on the static server `make -C /home/reddit/reddit static` `rsync /home/reddit/reddit/static … Continue reading →

Posted in Computer, Murmuring, Network, Programming, Service, Social, Software, WWW | Tagged , , , , | Leave a comment

Reddit 在處理 Page View 的方式

Posted on May 28, 2017 by Gea-Suan Lin

Reddit 說明了他們如何處理 pageview：「View Counting at Reddit」。 以 Reddit 的規模有提到兩個重點，第一個在善用 Redis 的 HyperLogLog 這個資料結構，當量大的時候其實可以允許有微小的誤差： The amount of memory varies per implementation, but in the case of this implementation, we could count over 1 million IDs using just 12 kilobytes of space, … Continue reading →

Posted in Cassandra, Computer, Database, Murmuring, Network, Programming, Service, Software | Tagged , , , , , , , , , , , , , , , , , , , | Leave a comment

Reddit 在規劃要禁止「阻擋 Adblock 的網站」

Posted on May 16, 2016 by Gea-Suan Lin

如標題所說的，Reddit 在規劃這些阻擋 Adblock 的網站：「Mod Announcement: We're considering banning all domains that require users to disable ad blockers and we'd like your input」。 這些網站要求使用者將網站列入 Adblock 白名單，然後這些網站就會「不小心」推送 malware 給使用者： It has come to our attention that many websites such as Forbes and … Continue reading →

Posted in Browser, Computer, Murmuring, Network, Security, Software, WWW | Tagged , , , , , , , , , | Leave a comment

分散式的論壇系統

Posted on October 20, 2015 by Gea-Suan Lin

在「Kudos - A Peer-to-Peer Discussion System Based on Social Voting」這邊看到分散式的論壇系統，帶有投票分數機制以及相關議題機制： Decentralized Reddit using a DHT to store content and a blockchain to rank such content. Whitepaper with more details here: http://lucaa.org/docs/kudos.pdf 論文裡面可以看出來設計的觀念受到 Bitcoin 的啟發，演算法也是... 換句話說，Bitcoin 帶來的影響遠遠超過金融市場，Bitcoin 所使用的理論也給其他領域很多想法。 如果這樣的系統可行的話 (還沒仔細研究 @_@)，真正分散式的論壇系統就會出現了...

Posted in Cloud, Computer, Murmuring, Network, P2P, Social, WWW | Tagged , , , , , , , , , , , | Leave a comment

用 Google BigQuery 分析 Reddit 釋出的資料

Posted on October 5, 2015 by Gea-Suan Lin

前幾天有提到 Reddit 官方放出全站的投稿以及 comment 資訊：「Reddit 放出完整的全站投稿資料」，馬上就有人拿工具來分析了：「How to Analyze Every Reddit Submission and Comment, in Seconds, for Free」。 這篇的作者是用 Google 的 BigQuery 分析，而 BigQuery 跟 SQL 操作方法類似，所以我猜用 Amazon Redshift 或是 Apache Spark 應該都可以做到類似的事情吧，就看對工具的熟悉度。圖片則是透過 BigQuery 產生 csv 擋，再透過 R 與 ggplot2 產生出來。 … Continue reading →

Posted in Cloud, Computer, Database, Murmuring, Network, Programming, Science, Social, Software, WWW | Tagged , , , , , , , , | Leave a comment

Reddit 放出完整的全站投稿資料

Posted on September 30, 2015 by Gea-Suan Lin

前幾天 Reddit 宣佈放出完整的全站投稿資料：「Full Reddit Submission Corpus now available (2006 thru August 2015)」，有些技術問題使得這次沒放出 2006 與 2007 的資料，之後會想辦法補上： Data is complete from January 01, 2008 thru August 31, 2015. Partial data is available for years 2006 and 2007. The reason for this … Continue reading →

Posted in Computer, Murmuring, Network, P2P, Social, WWW | Tagged , , , , , , , | 2 Comments