Tag: 2013

Spark Summit 2013 第一天心得...

在舊金山參加 Spark Summit 2013，結論：

  • 所有用 Spark 的公司或是單位都有共通的原因而改用 Spark：效能。其他提到的 feature 都不是真正一定要用 Spark 的原因。換 Spark 後可以多用這些 feature 是加分，但沒有也 ok，重點還是在效能。
  • 會發現幾乎所有人都用 Scala，對其他語言的支援大多都還在發展。比較驚訝的是大家完全不想提 Java... Python 倒是還提過幾次 XD

所以只拿 Spark 當 MR-framework 也是很夠值得用的，如果要用 Streaming (Real-time processing) 的話，效能提升會更明顯。

然後，不要想用其他程式語言，乖乖的用 Scala 吧...

另外 Hadoop Streaming 跟 Spark Streaming 講的是不一樣的東西，在會場上講 Streaming 一般都講 Real-time processing，這點在會場的時候差點轉不過來 :o

香港開源年會 2013

居然沒跟到這個消息...

「香港開源年會 2013」(第一屆！) 將於 10 月 19 日在香港城市大學邵逸夫創意媒體中心舉辦，現在訂機票有點晚，不過還是可以過去交流...

其實有些議程還蠻有興趣去交流的，不過剛好卡到員工旅遊啊... @_@

該來找日本的 conference 了？@_@

資安研討會上的封包測錄...

國內外資安研討會上都愛玩的主題：封包測錄分析。

這次是 BruCON 2013 的記錄，有兩篇：「BruCON 0×05 Wrap Up」、「What Do Attendees During a Security Conference?」。

第一篇首先是依照 OS 數量的分析：

另外還有整體的數量分析：

另外發現有大量的 OpenVPN 以及 IPsec 封包，這也的確是資安研討會應該要出現的東西... XD

第二篇的分析也很有趣，像是對 DNS 的分析：

大紅點是官方提供的 DNS (10.4.0.1)，兩個小紅點是 Google 提供的 DNS 服務 (8.8.8.8 與 8.8.4.4)，而黃點則是 mDNS。

然後官方有提供兩包 50GB 的檔案... 要分析的人也可以拿去玩 XD

然後提到 The Bro Network Security Monitor，找機會玩看看好了...

Machine Learning 的課程 (2013 年一月開課，已經完結)

在「推薦系統的課程...」這篇推薦了 2013 秋天的課程，不過整理舊文章的時候發現有另外一門講 Machine Learning 的課程已經結束 (不僅僅是 Recommendation System)。

CMU 的課程：「Introduction to Machine Learning」，課程都有 PDF slide 與錄影可以看。

相較於推薦系統，機器學習的課程比較篇理論，而且也比較廣泛，而推薦系統比較偏應用。