Tag Archives: memory

Microsoft 與 GitHub 合作,將會把 GVFS 移植到 Linux 與 Mac 上

Microsoft 與 GitHub 合作將本來只有在 Windows 上可以用的 GVFS 移植到 Linux 與 Mac 上:「Microsoft and GitHub team up to take Git virtual file system to macOS, Linux」。 GVFS 是解決微軟內部自己在用 Git 的痛處,因為微軟的 repository 都... 有... 點... 肥... (畢竟有不少產品發展了很久)。 目前 Git 的操作是卡在 I/O 與 … Continue reading

Posted in Computer, Murmuring, Network, Programming, Service, Software|Tagged , , , , , , , , , , , , , |Leave a comment

EC2 的 X1e 推出更小台的機種

本來 EC2 上 x1e 家族只有 x1e.32xlarge,現在拆小拿出來租了:「Amazon EC2 Update – X1e Instances in Five More Sizes and a Stronger SLA」。 這次算是補足中間的缺口,因為先前的洞有點大:r4.16xlarge 是 488GB RAM,而往上就變成 x1e.32xlarge 的 3904GB,中間都沒有其他選擇可以用。這次 x1e.8xlarge (976GB) 與 x1e.16xlarge (1952GB) 算是補上了這邊的缺口,拿來跑需要大量記憶體,但還不需要到 4TB RAM 等級的程式...

Posted in AWS, Cloud, Computer, Hardware, Murmuring, Network, Service|Tagged , , , , , , , |Leave a comment

Amazon Aurora (MySQL) 推出的 Asynchronous Key Prefetch

Amazon Aurora (MySQL) 推出新的效能改善,可以改善 JOIN 時的效能:「Amazon Aurora (MySQL) Speeds Join Queries by More than 10x with Asynchronous Key Prefetch」。 看起來像是某個情況的 optimization,將可能的 random access 換成 sequential access 而得到大量的效能: This feature applies to queries that require use of the Batched Key Access … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, MySQL, Network, Software|Tagged , , , , , , , , , , , , , , , , , , , , , , |Leave a comment

Apache 的 Optionsbleed

Apache 也出了類似 Heartbleed 的包:「Apache bug leaks contents of server memory for all to see—Patch now」,原文出自「Optionsbleed - HTTP OPTIONS method can leak Apache's server memory」。 這掛上 CVE-2017-9798 了,影響版本包括了: This affects the Apache HTTP Server through 2.2.34 and 2.4.x through 2.4.27. 發生在對 … Continue reading

Posted in Computer, Murmuring, Network, Privacy, Security, Service, Software, WWW|Tagged , , , , , , , , , , |Leave a comment

Amazon EC2 推出 4TB 的機器

之前 Amazon EC2 記憶體最大的機器是 x1.32xlarge 的 2TB RAM (更精確是 1952GB),現在推出了 4TB RAM 的 x1e.32xlarge (3904GB):「Now Available – EC2 Instances with 4 TB of Memory」。 現在這個時間點在 us-east-1 的價錢是 USD$26.688/hour (一個月 USD$19215.36),用的到的人應該付得起? 另外值得注意的是,x1e.32xlarge 雖然比 x1.32xlarge 多了一倍的記憶體,但 vCPU 不變 (都是 128),而且 ECU 下降了 … Continue reading

Posted in AWS, Cloud, Computer, Hardware, Murmuring, Network|Tagged , , , , , , , , , |Leave a comment

InnoDB 與 MyRocks 之間的取捨

MyRocks 的主要作者 Mark Callaghan 整理了一篇關於大台機器下,資料可以放到記憶體內的效能比較:「In-memory sysbench, a larger server and contention - part 1」。 這其實才是一般會遇到的情況:當事業夠大時,直接花錢買 1TB RAM + 數片 PCI-E SSD 的機器用錢換效能... (主要應該會在記憶體花不少錢,剛剛查了一下,現在白牌的 server 一台大約七十萬就可以擺平?兩台做 HA 也才一百四十萬,對有這個規模的單位來說通常不是大問題...) 而三種不同的 case 裡面,最後這個應該是最接近真實情況的: 可以看到 InnoDB 在幾乎所有項目都還是超越 MyRocks (只有 random-points 與 insert-only 輸)。 不知道後續的開發能量還會有多少... … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Software|Tagged , , , , , , , , , , |Leave a comment

Reddit 在處理 Page View 的方式

Reddit 說明了他們如何處理 pageview:「View Counting at Reddit」。 以 Reddit 的規模有提到兩個重點,第一個在善用 Redis 的 HyperLogLog 這個資料結構,當量大的時候其實可以允許有微小的誤差: The amount of memory varies per implementation, but in the case of this implementation, we could count over 1 million IDs using just 12 kilobytes of space, … Continue reading

Posted in Cassandra, Computer, Database, Murmuring, Network, Programming, Service, Software|Tagged , , , , , , , , , , , , , , , , , , , |Leave a comment

Amazon EC2 要推出 x1e.32xlarge,4TB RAM 的機器

剛剛 Amazon EC2 公佈的消息,要再推出記憶體大怪物機器 x1e.32xlarge:「EC2 In-Memory Processing Update: Instances with 4 to 16 TB of Memory + Scale-Out SAP HANA to 34 TB」。 Later this year we plan to make the x1e.32xlarge instances available in several AWS regions, in both … Continue reading

Posted in AWS, Cloud, Computer, Hardware, Murmuring, Network|Tagged , , , , , , , , , , |Leave a comment

InnoDB redo log 大小對效能的影響

在「Benchmark(et)ing with InnoDB redo log size」這邊看到在討論 InnoDB redo log 的大小對效能的影響 (也就是 innodb_log_file_size 與 innodb_log_files_in_group)。 開頭就有先提到重點,在新版 MySQL 裡,幾乎所有的情況比較大的 redo log 有比較好的效能 (平均值): tl;dr - conclusions specific to my test A larger redo log improves throughput A larger redo log helps more … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Software|Tagged , , , , , , , , , , , , , , , , |Leave a comment

Amazon DynamoDB Accelerator (DAX)

DynamoDB 推出的新架構,在系統上幫忙處理 cache:「Amazon DynamoDB Accelerator (DAX) – In-Memory Caching for Read-Intensive Workloads」。 DAX 跟現有的 DynamoDB API 相容: DAX is a fully managed caching service that sits (logically) in front of your DynamoDB tables. It operates in write-through mode, and is … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, Software|Tagged , , , , , , , , , , , , |Leave a comment