Spark Summit 2013 第一天心得...

在舊金山參加 Spark Summit 2013,結論:

  • 所有用 Spark 的公司或是單位都有共通的原因而改用 Spark:效能。其他提到的 feature 都不是真正一定要用 Spark 的原因。換 Spark 後可以多用這些 feature 是加分,但沒有也 ok,重點還是在效能。
  • 會發現幾乎所有人都用 Scala,對其他語言的支援大多都還在發展。比較驚訝的是大家完全不想提 Java... Python 倒是還提過幾次 XD

所以只拿 Spark 當 MR-framework 也是很夠值得用的,如果要用 Streaming (Real-time processing) 的話,效能提升會更明顯。

然後,不要想用其他程式語言,乖乖的用 Scala 吧...

另外 Hadoop Streaming 跟 Spark Streaming 講的是不一樣的東西,在會場上講 Streaming 一般都講 Real-time processing,這點在會場的時候差點轉不過來 :o

資安研討會上的封包測錄...

國內外資安研討會上都愛玩的主題:封包測錄分析。

這次是 BruCON 2013 的記錄,有兩篇:「BruCON 0×05 Wrap Up」、「What Do Attendees During a Security Conference?」。

第一篇首先是依照 OS 數量的分析:

另外還有整體的數量分析:

另外發現有大量的 OpenVPN 以及 IPsec 封包,這也的確是資安研討會應該要出現的東西... XD

第二篇的分析也很有趣,像是對 DNS 的分析:

大紅點是官方提供的 DNS (10.4.0.1),兩個小紅點是 Google 提供的 DNS 服務 (8.8.8.8 與 8.8.4.4),而黃點則是 mDNS

然後官方有提供兩包 50GB 的檔案... 要分析的人也可以拿去玩 XD

然後提到 The Bro Network Security Monitor,找機會玩看看好了...

Machine Learning 的課程 (2013 年一月開課,已經完結)

在「推薦系統的課程...」這篇推薦了 2013 秋天的課程,不過整理舊文章的時候發現有另外一門講 Machine Learning 的課程已經結束 (不僅僅是 Recommendation System)。

CMU 的課程:「Introduction to Machine Learning」,課程都有 PDF slide 與錄影可以看。

相較於推薦系統,機器學習的課程比較篇理論,而且也比較廣泛,而推薦系統比較偏應用。