雖然聽起來有點詭異,但 robots.txt
的確一直都只是業界慣用標準,而非正式標準,所以各家搜尋引擎加加減減都有一些自己的參數。
在經過這麼久以後,Google 決定推動 robots.txt
的標準化:「Formalizing the Robots Exclusion Protocol Specification」,同時 Google 也放出了他們解讀 robots.txt
的 parser:「Google's robots.txt Parser is Now Open Source」,在 GitHub 的 google/robotstxt 這邊可以取得。
目前的 draft 是 00 版,可以在 draft-rep-wg-topic-00 這邊看到,不知道其他搜尋引擎會給什麼樣的回饋...