Tag Archives: big

用 Google BigQuery 分析 Reddit 釋出的資料

前幾天有提到 Reddit 官方放出全站的投稿以及 comment 資訊:「Reddit 放出完整的全站投稿資料」,馬上就有人拿工具來分析了:「How to Analyze Every Reddit Submission and Comment, in Seconds, for Free」。 這篇的作者是用 Google 的 BigQuery 分析,而 BigQuery 跟 SQL 操作方法類似,所以我猜用 Amazon Redshift 或是 Apache Spark 應該都可以做到類似的事情吧,就看對工具的熟悉度。圖片則是透過 BigQuery 產生 csv 擋,再透過 R 與 ggplot2 產生出來。 … Continue reading

Posted in Cloud, Computer, Database, Murmuring, Network, Programming, Science, Social, Software, WWW | Tagged , , , , , , , , | Leave a comment

LinkedIn 依照他們的資料對美國的大專院校排名

在 Slashdot 上看到 LinkedIn 對美國的大專院校排名:「Be True To Your CS School: LinkedIn Ranks US Schools For Job-Seeking Programmers」。 軟體工程師的部份在這邊:「LinkedIn 大學排名 — 軟體開發人員」。Slashdot 上的 comment 瞬間就戰起來,然後還有人跑出來問怎麼沒有美國外的資料 XDDD CMU 第一名不算奇怪,但 Stanford 意外的後面?

Posted in Computer, Murmuring, Science, Social | Tagged , , , , , , , , | Leave a comment

NSA 每天從全世界的基地台蒐集行動電話資料,所以全民公敵裡演的都是真的嘛...

雖然也不怎麼意外了,不過看到還是想要碎碎唸一下... NSA 每天從「全世界的」基地台蒐集五十億筆資料:「NSA Tracking Cellphone Locations Worldwide」。 全世界啊... 感覺 Hadoop 之類的 big data 技術論壇找 NSA 很有看頭啊 @_@ Update:有人給了模擬案例了「Meet Jack. Or, What The Government Could Do With All That Location Data」:

Posted in Computer, Murmuring, Network, Security | Tagged , , , , , , , , , , , | 1 Comment

對於學術研究用的 Big Data...

面試的時候曾經有面試者說手上沒有 big data 可以研究,所以對 big data 的理解僅限於理論,不過我對這種講法就... 網路上有很多資料是很有用的: 維基百科的資料庫:「Wikipedia:Database download」。 niconico 動畫提供的資料:「日大型影片共享網站開放各項數據供學術研究用途下載」。 剛剛看到有人整理 Google 放出了哪些資料:「Datasets released by Google」 AOL 當年的 search data leak (維基百科說明「AOL search data leak」),網路上找一下就可以找到載點。 能玩的東西明明就很多... 另外還可以掃各種公開資料。

Posted in Computer, Murmuring, Network, Science, WWW | Tagged , , , , , , , , , , | 1 Comment

Google 警告美國流感疫情提升...

Google 在很久前就發現可以利用「搜尋的關鍵字」推測流感疫情,而在 2008 年建立了 Google Flu Trends,利用關鍵字來推測可能的疫情:「Explore flu trends around the world」。 而今年 Google 發出警告,依照關鍵字觀察,美國的流感疫情比起歷年來都高出不少:「Google - Yes, Google - Warns Of "Intense" U.S. Flu Activity」。 這除了是 Google 的火力展示之外,也是在說明資料被適當應用時的威力。

Posted in Computer, Murmuring, Network, Search Engine, Social, WWW | Tagged , , , , , | Leave a comment