Tag Archives: research

用 Machine Learning 調校資料庫

AWS AI Blog 在月初上放出來的消息:「Tuning Your DBMS Automatically with Machine Learning」。 Carnegie Mellon Database Group 做的研究,除了預設值以外,另外跟四種不同的參數做比較,分別是 OtterTune (也就是這次的研究)、Tuning script (對於不熟資料庫的人,常用的 open source 工具)、DBA 手動調整,以及 RDS: MySQL: PostgreSQL: 比較明顯的結論是: Default 值在所有的 case 下都是最差的 (無論是 MySQL 與 PostgreSQL 平台,以及包括 99% 的 Latency 與 … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, MySQL, Network, PostgreSQL, Programming, Service, Software | Tagged , , , , , , , , , , , , , , , , , , , , , , , , , , , | Leave a comment

Google 的 Guetzli,對 JPEG 的壓縮演算法

Google Research Europe 推出的演算法,在不動 decoder 的情況下,要怎麼樣壓出又小又清晰的 JPEG 圖片:「Announcing Guetzli: A New Open Source JPEG Encoder」,論文可以在「Guetzli: Perceptually Guided JPEG Encoder」這邊下載,程式碼則可以在 GitHub 上的 google/guetzli 取得。 othree 也寫了一篇「Guetzli: A New Open Source JPEG Encoder」介紹 Guetzli。 Guetzli 在同樣的品質下,比現有的壓縮法可以再壓榨出 29%~45% 的空間,這算是非常驚人的數字: We reach a 29-45% … Continue reading

Posted in Computer, Murmuring, Photo, Programming, Recreation, Software | Tagged , , , , , , , , , , | Leave a comment

DeepMind 跟 Blizzard 合作攻略 StarCraft II

DeepMind 宣佈與 Blizzard 合作,開發了 Star Craft II 的界面讓 AI 可以操作:「DeepMind and Blizzard to release StarCraft II as an AI research environment」: Today at BlizzCon 2016 in Anaheim, California, we announced our collaboration with Blizzard Entertainment to open up StarCraft II … Continue reading

Posted in Computer, Game, Murmuring, Recreation, Software | Tagged , , , , , | Leave a comment

Cuckoo Filter:比 Bloom Filter 多了 Delete

在「Cuckoo Filter implementation in Go, better than Bloom Filters」這邊看到這個資料結構,有興趣的人也可以看「Cuckoo Filter:设计与实现」這篇介紹,下面是我抓重點整理。 Bloom Filter 支援的操作: Add(element) Query(element) 1970 年提出來的資料結構。優點是空間複雜度是 O(1),Query(element) 會有可接受的 false positive,缺點是不支援 Delete(element)、以及數量變多時誤判率的增加。 Cuckoo Filter 多了一組操作: Delete(element) 2014 年提出來的資料結構。空間複雜度一樣是 O(1),但相同的空間用量下 false positive 變低,然後支援 Delete(element) 了。也因此論文直接寫「Cuckoo Filter: Practically Better Than Bloom」,表示可以直接替代。

Posted in Computer, Murmuring, Programming | Tagged , , , , , , , | 1 Comment

從 arXiv 上挖寶的網站

Hacker News 上的「Ask HN: How do you get notified about newest research papers in your field?」在問有什麼方法可以找到新的論文,前面的回答就有不少好東西... 一個是 Arxiv Sanity Preserver,另外一個是 GitXiv,兩個都是從 arXiv 上挖寶,先記錄起來,之後拿來翻東西應該會用到...

Posted in Computer, Murmuring, Network, Science, WWW | Tagged , , , | Leave a comment

聯邦政府僱用 CMU 的人研究攻擊 Tor

先前 Tor Project 有提到外面報導 FBI 在 2014 年時僱用 CMU 的人研究 Tor 的弱點並且加以攻擊:「Did the FBI Pay a University to Attack Tor Users?」。 這的確是錯的,因為不是 FBI,而是 DoD (美國國防部) 僱用的 (瞬間噴出茶來):「Judge confirms what many suspected: Feds hired CMU to break Tor」。Tor Project 的反應在「Statement from … Continue reading

Posted in Computer, Murmuring, Network, P2P, Security | Tagged , , , , , , | Leave a comment

對於學術研究用的 Big Data...

面試的時候曾經有面試者說手上沒有 big data 可以研究,所以對 big data 的理解僅限於理論,不過我對這種講法就... 網路上有很多資料是很有用的: 維基百科的資料庫:「Wikipedia:Database download」。 niconico 動畫提供的資料:「日大型影片共享網站開放各項數據供學術研究用途下載」。 剛剛看到有人整理 Google 放出了哪些資料:「Datasets released by Google」 AOL 當年的 search data leak (維基百科說明「AOL search data leak」),網路上找一下就可以找到載點。 能玩的東西明明就很多... 另外還可以掃各種公開資料。

Posted in Computer, Murmuring, Network, Science, WWW | Tagged , , , , , , , , , , | 1 Comment