crawler

OpenAI 的 web crawler 叫做 GPTBot

Hacker News 上看到「GPTBot – OpenAI’s Web Crawler (openai.com)」，原文是 GPTBot 這個，提到了 OpenAI 的 web crawler，User-Agent 會長這樣：

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

然後有提到他會遵守 robots.txt。

另外提供了 web crawler 會使用的 IP range，放在 gptbot-ranges.txt 這邊，目前裡面看起來只有 40.83.2.64/28，是 Azure 的網段。

這個行為有點微妙了，要開始自己掃資料嗎？

微軟的 Outlook 系統會自動點擊信件內的連結

前幾天在 Hacker News Daily 上翻到的，微軟的 Outlook 系統 (雲端上的系統) 會自動點擊信件內的連結，導致一堆問題：「“Magic links” can end up in Bing search results — rendering them useless.」，在 Hacker News 上的討論也有很多受害者出來抱怨：「“Magic links” can end up in Bing search results, rendering them useless (medium.com/ryanbadger)」。

原文的標題寫的更批評，指控 Outlook 會把這些 link 丟到 Bing 裡面 index，這點還沒有看到確切的證據。

先回到連結被點擊的問題，照文章內引用的資料來看，看起來是 2017 年開始就有的情況：「Do any common email clients pre-fetch links rather than images?」。

As of Feb 2017 Outlook (https://outlook.live.com/) scans emails arriving in your inbox and it sends all found URLs to Bing, to be indexed by Bing crawler.

在 Hacker News 上的討論也提到了像是 one-time login email 的機制也會因此受到影響，被迫要用比較費工夫的方法讓使用者登入 (像是給使用者 one-time code 輸入，而不是點 link 就可以登入)。

先記起來，以後在設計時應該會遇到，要重新思考 threat model...

Mixnode：又一個可以搜尋整個 Web 的服務

看到「Turn the web into a database: An alternative to web crawling/scraping」這篇，在介紹自家 Mixnode 這個產品，看起來是提供 SQL 界面分析整個 Web 的服務...

這類服務最重要的反而不是搜尋界面 (有可以讓程式接的 API 其實就 ok 了)，重要的是後面的資料庫有多豐富...

在「用 PublicWWW 分析網站」這邊有提到類似的服務 PublicWWW，而且也一樣有提供 API，先把 Mixnode 丟著記錄起來就好，等有需要的時候再去申請 trial account...