Tag Archives: index

InnoDB 的 MVCC 繁忙時的效能問題

在 Facebook 上看到 Percona 的人修正了 InnoDB 的 MVCC 在繁忙時會有 的效能問題: 在 MySQL 官方的 bug tracking system 是「InnoDB's MVCC has O(N^2) behaviors」這個,可以看到給的重製範例是在 transaction 內大量塞 INSERT 進去後,另外一個 transaction 使用 secondary index 就會受到影響。 裡面也有提到「Secondary index updates make consistent reads do O(N^2) undo page … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Programming, Software|Tagged , , , , , , , , , , , , , |Leave a comment

機器學習與情色產業的問題

Bruce Schneier 提到了最近幾個剛好相關的議題,關於機器學習在情色產業使用時遇到的隱私議題:「Technology to Out Sex Workers」。 第一個提到的是 PornHub 用機器學習辨識演員以及各種「其他資訊」,這邊引用的報導是 TechCrunch 的「PornHub uses computer vision to ID actors, acts in its videos」: PornHub is using machine learning algorithms to identify actors in different videos, so as to better index them. … Continue reading

Posted in Computer, Murmuring, Network, Privacy, Security, Social|Tagged , , , , , , , , , , , , , , , , , |Leave a comment

MySQL 8.0 的功能

之前陸陸續續寫了一些關於 MySQL 8.0 的新改善 (參考「MySQL 8.0 的 performance_schema 加上 index 了...」、「MySQL 8.0 將會實作「真正的」Descending Indexes」、「MySQL 8.0 對 4 bytes UTF-8 的效能改善」),官方在 RC1 的時候整理了一篇出來:「MySQL 8.0 RC1 – Highlights」。 我覺得比較值得看的是「Better Handling of Hot Rows」、「Invisible Indexes」這兩個吧,前面這點對於效能可以有些幫助 (針對某些情境不要 waiting,直接 skip lock),後面這點對於維運應該也有不錯的幫助 (像是拔掉 index 的過渡驗證階段)。 當 … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Software|Tagged , , , , , , , , |Leave a comment

ScyllaDB 2.0 要引入 Cassandra 3.0+ 的 Materialized View

最近 ScyllaDB 的網站改版了... (有種不習慣的感覺) ScyllaDB 2.0 打算要引入 Materialized View (出自 Apache Cassandra 3.0+):「Materialized Views preview in Scylla 2.0」。 一般 Materialized View 的實做方式是另外存一份,所以你可以在上面加 Index 之類的設定讓存取速度變快... 不過 Cassandra 不是本來就以讀慢寫快為優勢嗎,要速度可以考慮用 cache 疊出來,或是其他方式,當初 Cassandra 會開發這個功能就有點... XDDD

Posted in Computer, Database, Murmuring, Software|Tagged , , , , , , , , |1 Comment

Pinboard 放出使用的 Database Schema

在 Twitter 上看到 Pinboard 放出他們的 DB Schema,可以看出他怎麼設計一個 bookmark site 的: I published my DB schema a while ago, but you’ll learn much more if you do this from scratch https://t.co/XgfcsQYaq6 — Pinboard (@Pinboard) July 13, 2017 檔案在 Pinboard Database Schema … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Network, Programming, Service, Software, WWW|Tagged , , , , , , , , |1 Comment

MongoDB 的 Index 種類

Percona 的人寫了一篇簡單的文章介紹 MongoDB 的 Index:「MongoDB Indexing Types: How, When and Where Should They Be Used?」。 官方文件的「Indexes」算清楚,不過有些地雷沒講,像是 Unique Indexes 只這樣說: The unique property for an index causes MongoDB to reject duplicate values for the indexed field. Other than the unique constraint, … Continue reading

Posted in Computer, Database, Murmuring, Software|Tagged , , , , , , |Leave a comment

在 Production 上惡搞 PostgreSQL,建立一千萬筆 Index...

在「Running 10 Million PostgreSQL Indexes In Production (And Counting)」這邊看到 Heap 他們在 PostgreSQL 上惡搞的方式。 為了效能,所以在上面建立了大量的 Partial index。像是這樣的條件 (所以其實每個都不算太大): CREATE INDEX ON events (time) WHERE type = ‘click’ AND text = ‘login’ 要注意的是 MySQL 的 Partial index 其實是 prefix index,用以減少 index 的空間要求,這在 … Continue reading

Posted in Computer, Database, Murmuring, PostgreSQL, Software|Tagged , , , , , , , , |Leave a comment

MySQL 總算要拔掉 mysql_query_cache 了

半官方的 MySQL blog 上宣佈了拔掉 mysql_query_cache 的計畫:「MySQL 8.0: Retiring Support for the Query Cache」。 作者開頭引用了 ProxySQL 的人對 MySQL Query Cache 的說明: Although MySQL Query Cache was meant to improve performance, it has serious scalability issues and it can easily become a … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Network, Software|Tagged , , , , , , , , , , , , , , , , , , |Leave a comment

iOS 上 Spotlight Search 如果很慢...

看到「Disabling Slack Indexing Seems to Improve Spotlight Performance on iOS」這篇講 iOS 的 Spotlight Search 很慢的問題,作者後來找到與 Slack 有關?到這邊關掉就正常了: Settings > General > Spotlight Search > toggle Slack off 我是沒遇到... 不過先寫起來,如果以後遇到時應該會有幫助。

Posted in Computer, Murmuring, Network, Search Engine, Software|Tagged , , , , , , , , |Leave a comment

MySQL 8.0 對 4 bytes UTF-8 的效能改善

在「MySQL 8.0: When to use utf8mb3 over utf8mb4?」這邊提到了 MySQL 對 utf8 以及 utf8mb4 的故事,以及在 MySQL 8.0 預期的效能提昇: 可以看到 Oracle 的團隊花了不少力氣提昇 utf8mb4 的效能。另外提到了在 5.7 的時候將 row format 的預設值轉成 DYNAMIC: MySQL 5.7 (2015) added some optimizations such as a variable length sort … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Software|Tagged , , , , , , , , , , , , , |Leave a comment