Tag Archives: cache

Etsy 介紹的 Cache Smearing

在 Etsy 的 engineering blog 上提到了他們怎麼設計 cache 機制:「How Etsy caches: hashing, Ketama, and cache smearing」。 使用 consistent hash 已經是基本款了,文章裡花了一些篇幅介紹為什麼要用 consistent hash。 後半段則是有了 consistent hash 後會遇到的問題,也就是講 hot key 怎麼處理:有些資料非常熱 (常常被存取),就算用 consistent hash 也還是有可能搞爆單一機器。 他們做了幾件事情,第一件事情是設計 cache smearing 機制,把單一資料加上 random key,使得不同的 key 會打散到不同的機器上: … Continue reading

Posted in Computer, Murmuring, Network, Programming, Service, Software|Tagged , , , , , , , , |Leave a comment

Microsoft 與 GitHub 合作,將會把 GVFS 移植到 Linux 與 Mac 上

Microsoft 與 GitHub 合作將本來只有在 Windows 上可以用的 GVFS 移植到 Linux 與 Mac 上:「Microsoft and GitHub team up to take Git virtual file system to macOS, Linux」。 GVFS 是解決微軟內部自己在用 Git 的痛處,因為微軟的 repository 都... 有... 點... 肥... (畢竟有不少產品發展了很久)。 目前 Git 的操作是卡在 I/O 與 … Continue reading

Posted in Computer, Murmuring, Network, Programming, Service, Software|Tagged , , , , , , , , , , , , , |Leave a comment

Amazon ElastiCache 可以讓你動態改 Redis 大小

Amazon ElastiCache 的 Redis 可以動態改大小了 (Online Resizing):「Amazon ElastiCache Update – Online Resizing for Redis Clusters」。 不過目前看起來只有 Cluster Mode 的才支援: 設定要加 sharding: 然後就開始跑: 另外也可以 rebalance: 這樣就省了一些功夫...

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, Service, Software|Tagged , , , , , , , , , |Leave a comment

看完 AWS 給的 WordPress + CloudFront 指南後...

我覺得還是用 Cloudflare 比較實際... (寫了那麼長,有種負面教材的感覺 XDDD) AWS 的原文在「How to accelerate your WordPress site with Amazon CloudFront」這邊可以看到。 對照 Cloudflare 的說明:「Using Cloudflare with WordPress」,除了長度外,可以看到一堆設定都包好了: 然後提到比較現實的,Cloudflare 把 domain 掛上去就有不用錢的方案,hmmm...

Posted in AWS, Blog, CDN, Cloud, Computer, Murmuring, Network, Security, Service, WWW|Tagged , , , , , , , , , , |Leave a comment

Amazon Aurora (MySQL) 推出的 Asynchronous Key Prefetch

Amazon Aurora (MySQL) 推出新的效能改善,可以改善 JOIN 時的效能:「Amazon Aurora (MySQL) Speeds Join Queries by More than 10x with Asynchronous Key Prefetch」。 看起來像是某個情況的 optimization,將可能的 random access 換成 sequential access 而得到大量的效能: This feature applies to queries that require use of the Batched Key Access … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, MySQL, Network, Software|Tagged , , , , , , , , , , , , , , , , , , , , , , |Leave a comment

imgproxy:自動處理圖片的工具

看到「imgproxy: Resize your images instantly and securely」這篇文章,介紹「DarthSim/imgproxy」這個專案,想起很久以前的同事在 PIXNET 弄的 *.pimg.tw 系列服務... imgproxy 可以 resizing,也可以 croping,然後也支援 signature token 機制,感覺是每個大一點的站台都會自己刻一次的服務 XD 整個專案以 Golang 為主,效能應該是不錯... 不過一般前面還是會放 cache 機制 (像是 CDN 之類的服務),而不會把 loading 直接打進來,避免同樣的圖片一直重複計算。

Posted in Computer, Murmuring, Network, Photo, Recreation, Security, Service, Software, WWW|Tagged , , , , , , , , , , , |1 Comment

Heimdall Data:自動 Cache RDBMS 資料增加效能

看到 AWS 的「Automating SQL Caching for Amazon ElastiCache and Amazon RDS」這篇裡面介紹了 Heimdall Data – SQL caching and performance optimization 這個產品。 從官網的介紹也可以看出來是另外疊一層 proxy,但自動幫你處理 cache invalidation 的問題: But what makes Heimdall Data unique in industry is its auto-cache AND auto-invalidation capability. Our … Continue reading

Posted in AWS, Cloud, Computer, Database, MariaDB, Murmuring, MySQL, Network, PostgreSQL, Service, Software|Tagged , , , , , , , , , , , , , , , , |Leave a comment

Mozilla 的提案「HTTP Immutable Responses」

狀態已經是 Category: Standards Track 了,RFC 8246 的「HTTP Immutable Responses」: The immutable HTTP response Cache-Control extension allows servers to identify resources that will not be updated during their freshness lifetime. This ensures that a client never needs to revalidate a cached … Continue reading

Posted in Browser, Computer, Murmuring, Network, Software, WWW|Tagged , , , , , , , , |1 Comment

Quotient filter

之前有提過「Cuckoo Filter:比 Bloom Filter 多了 Delete」,最近在「A general purpose counting filter: making every bit count」這邊看到 Quotient filter,也是類似 Bloom filter 的資料結構,但想要解決更多問題。 一般的 Bloom filter (BF) 會有這些問題: The inability to delete items Poor scaling out of RAM The inability to resize dynamically The … Continue reading

Posted in CDN, Computer, Murmuring, Network, Programming|Tagged , , , , , , , , , , , , , |Leave a comment

Telegram 使用 CDN 加速下載

Telegram 說明他們將會使用 CDN 加速:「More Speed and Security!」。 資料在 CDN 的節點上是加密的,金鑰需要透過 Telegram 的 key server 提供: While these caching nodes are only used to temporarily store public media (imagine Telegram versions of superpopular YouTube hits), all data that goes through them … Continue reading

Posted in CDN, Computer, Murmuring, Network, Privacy, Security, Service, Software, WWW|Tagged , , , , , , , , , , , , , |1 Comment