在 Zite 上看到「Treasure Data and AWS - Developers.io 2015」這篇,可以看看 Treasure Data 遇到的問題以及他們的解法。
這種文章除了看「怎麼做」以外,如果有提到「不怎麼做」也很值得看,也就是解釋避開了哪些東西。
像是他們拿 PostgreSQL 放 metadata 這件事情就很奇怪:
而他們解釋 Amazon S3 的 LIST 的品質有問題:
另外也說明了因為 GiST 的需求,所以不使用 MySQL,而且這也自動說明了 Amazon DynamoDB 不符合需求:
另外也遇到與 Netflix 同樣的問題,寫進去後因為 S3 的 Eventually Consistent 性質,不保證馬上讀的到:
如果沒有用到 GiST,用 DynamoDB 放 metadata 好像可以解決問題...