Tag: robots.txt

Reddit 的 robots.txt 要求阻擋所有機器人

在「Reddit's Robots.txt Changed (reddit.com)」這邊看到的，可以看到現在 https://www.reddit.com/robots.txt 的內容變成 (刪掉註解的部分)：

User-agent: *
Disallow: /

這個改變倒是沒預料到的... 來觀察看看 HN 上後續的討論？