前幾天看到的東西，不確定是不是在 Hacker News 上，反正在 tab 上幾天了... 但還是附上 Hacker News 的連結：「Show HN: Data Diff – compare tables of any size across databases」，專案的位置在 GitHub 上的 datafold/data-diff。
這是用 Python 寫的工具，安裝可以透過 pip 直接裝，所以也可以用 pipx 之類的工具獨立起來跑。
data-diff 會先拆成多個區塊，然後透過 checksum 的機制判斷兩邊的資料是否相同，不同的部份再取 bisection 分開下去找 (或是更多份，在 Technical Explanation 這個段落有寫到)。
在「Common use-cases」這段有提到幾個常見的使用情境，像是在自動化的環境下可以當作異常監控的工具：
Alerting and maintaining data integrity SLOs. You can create and monitor your SLO of e.g. 99.999% data integrity, and alert your team when data is missing.
另外在 troubleshooting 的情境下當然也很有幫助，可以先確認資料是否有問題，以及資料的哪邊出問題：
Debugging complex data pipelines. When data gets lost in pipelines that may span a half-dozen systems, without verifying each intermediate datastore it's extremely difficult to track down where a row got lost.
這個工具讓我想到 Percona Toolkit 裡面的 pt-table-checksum，不過 pt-table-checksum 只能處理 MySQL replication 的情境，data-diff 看起來通用多了：
目前完整測試過的是 MySQL、PostgreSQL 與 Snowflake，其他的有實做但還沒完整測試過。
看起來還在開發 (後面是商業公司 Datafold)，但先寫下來，之後如果有用到的時候可以回頭看看進展...