WHO READS US
谁在读我们
这台站是给人看的,也欢迎机器来读。
它们各自有名字——有的来找答案,有的来攒语料,有的只是路过敲一下门。
我们把它们记在这里,不是拉黑名单,是留一份来访登记:机器有名字,站点有态度。
42 家 · 67 个标识 · 6 个门派(数字由 crawlers.json 构建期实算,非手写)
态度四档:欢迎索引欢迎引用观察限流 「限流」≠「封禁」:robots.txt 保持放行,速率在 ESA/WAF 层按 UA 处理。
A 国际搜索引擎6 家 · 13 个标识
Google(谷歌)
搜索索引 + 产品数据(购物/新闻/图片)
Googlebot抓取 Googlebot-Image / -Video / -News抓取 Google-Extendedrobots 令牌 Google-InspectionTool抓取 Storebot-Google抓取
★ Google-Extended 不是爬虫,是训练用途的 robots 令牌,不会发请求。
B 中文搜索引擎5 家 · 9 个标识
C AI 大模型与 AI 检索15 家 · 25 个标识
OpenAI
训练 / 搜索索引 / 实时浏览 三条分开的通道
GPTBot抓取 OAI-SearchBot抓取 ChatGPT-User抓取
★ 三条通道各管各的:关 GPTBot 只关训练,不影响 OAI-SearchBot 的引用通道。
Anthropic(Claude)
训练 / 检索 / 实时 三通道(与 OpenAI 同构)
ClaudeBot抓取 Claude-SearchBot抓取 Claude-User抓取
★ 想被 Claude 引用就要留 SearchBot;收紧训练只关 ClaudeBot。
Google(Gemini)(谷歌 Gemini)
训练用途开关(不是爬虫)
Google-Extendedrobots 令牌
★ 令牌不发请求,只在 robots.txt 里生效——别在日志里找它。
Meta(Facebook/Instagram)
链接预览 + AI 训练
facebookexternalhit抓取 FacebookBot抓取 meta-externalagent抓取 meta-externalfetcher抓取
facebookexternalhit 是分享卡片预览,关掉它别人转发你的链接会没图。