Apache Spark 以記憶體操作為賣點的想法,有人提出來直接讓 HDFS 支援 Memory Storage 了:「Discardable Distributed Memory: Supporting Memory Storage in HDFS」,文章的副標題「HDFS's storage subsystem gets a boost with discardable distributed memory」也說明了特性。
整個計畫在「[HDFS-5851] Support memory as a storage medium - ASF JIRA」這邊可以看到。
不過 Spark 帶來的想法現在才有進度... 這發展的速度也太快了 XD