在 Official Google Blog 上提到的這篇:Robots Exclusion Protocol: now with even more flexibility。
文章裡提到的幾個玩意:
- 第一個是告訴 Google,頁面何時應該要從搜尋結果內消失,像是 蘋果 或是 udn 的過期網路新聞,會要求使用者登入後才能閱讀。
- 第二個是用利用 HTTP Response Header 告訴機器人 meta tag 的方式。
簡單留個印象就好了,平常用不太到。
幹壞事是進步最大的原動力
在 Official Google Blog 上提到的這篇:Robots Exclusion Protocol: now with even more flexibility。
文章裡提到的幾個玩意:
簡單留個印象就好了,平常用不太到。