在 Hacker News Daily 上看到三年前的舊文章，講自適應演算法取代常見的 A/B testing：「20 lines of code that will beat A/B testing every time」。
就拿原文裡面的例子來說明，我想要測試 "Buy Now!" 這個按鈕的顏色來得知哪個顏色的 click rate 最高，而我有 Orange、Green 以及 White 三種顏色為候選。
一開始我初始值都設為「展示了 1 次，被點擊了 1 次」，所以每個點擊率都是 100%：
| Orange | Green | White |
|---|---|---|
| 1/1 = 100% | 1/1=100% | 1/1=100% |
然後你的網站上只要展示「點擊率最高的那個顏色」，並且記錄下來展示次數與點擊率就好，而整個過程會是自適應而被自動被淘汰掉，最後可能會變成這樣，就會固定是綠色的了：
| Orange | Green | White |
|---|---|---|
| 114/4071 = 2.8% | 205/6385=3.2% | 59/2264=2.6% |
而這樣做的好處是節省人力成本：你不需要 A/B Testing 完後再人工介入修改。
對於更複雜的例子，雖然原文沒有提到，但你可以直接展開來做，舉例來說，你假設顏色與地區兩個變數所帶出來的 click rate 不是 i.i.d.，那麼你可以針對每個 Color + Region 都存數值去比較。
當然還是有他的問題 (comment 有提到)，不過可以架出一些全自動的 workaround 來解決，比起要兩階段人工介入省了不少人力。
另外可以想像在大的產品上會遇到效能問題 (因為對同樣資料大量的 read + write)，但這個數字不需要太即時，只要量大就會準確，所以技術上也可以解決...