在 Official Google Blog 上提到的這篇：Robots Exclusion Protocol: now with even more flexibility。
文章裡提到的幾個玩意：
- 第一個是告訴 Google，頁面何時應該要從搜尋結果內消失，像是 蘋果 或是 udn 的過期網路新聞，會要求使用者登入後才能閱讀。
- 第二個是用利用 HTTP Response Header 告訴機器人 meta tag 的方式。
簡單留個印象就好了，平常用不太到。
Skip to content
幹壞事是進步最大的原動力