WHO READS US

谁在读我们

这台站是给人看的,也欢迎机器来读。
它们各自有名字——有的来找答案,有的来攒语料,有的只是路过敲一下门。
我们把它们记在这里,不是拉黑名单,是留一份来访登记:机器有名字,站点有态度。

42 家 · 67 个标识 · 6 个门派(数字由 crawlers.json 构建期实算,非手写)

态度四档:欢迎索引欢迎引用观察限流 「限流」≠「封禁」:robots.txt 保持放行,速率在 ESA/WAF 层按 UA 处理。

A 国际搜索引擎6 家 · 13 个标识

欢迎索引

Google(谷歌)

搜索索引 + 产品数据(购物/新闻/图片)

Googlebot抓取 Googlebot-Image / -Video / -News抓取 Google-Extendedrobots 令牌 Google-InspectionTool抓取 Storebot-Google抓取

★ Google-Extended 不是爬虫,是训练用途的 robots 令牌,不会发请求。

官方页 ↗

欢迎索引

Microsoft Bing(微软必应)

Bing 索引与广告落地页校验

bingbot抓取 BingPreview抓取 adidxbot抓取

官方页 ↗

欢迎索引

Yandex(俄罗斯)

俄语区主力搜索引擎索引

YandexBot抓取 YandexImages抓取

官方页 ↗

欢迎索引

Naver(韩国 · 네이버)

韩语区主力搜索引擎索引

Yeti抓取

官方页 ↗

欢迎索引

Seznam(捷克)

捷克语区搜索引擎索引

SeznamBot抓取

官方页 ↗

欢迎索引

Mojeek(英国)

英国独立搜索引擎索引

MojeekBot抓取

官方页 ↗

B 中文搜索引擎5 家 · 9 个标识

欢迎索引

百度(Baidu)

百度搜索索引

Baiduspider抓取 Baiduspider-image / -news / -video抓取 Baiduspider-render抓取

官方页 ↗

欢迎索引

搜狗(Sogou(腾讯系))

搜狗/微信搜一搜 相关索引

Sogou web spider抓取 Sogou inst spider抓取

官方页 ↗

欢迎索引

360 搜索(奇虎 360)

360 搜索索引

360Spider抓取 HaosouSpider抓取

官方页 ↗

观察·限流

UC · 神马(阿里巴巴)

移动端搜索索引(阿里)

YisouSpider抓取

★ 该 UA 长期被大量伪冒用于 Chinese-Spam 镜像站,日志里看到它不等于真是神马。

官方页 ↗

欢迎索引

有道(网易有道)

词典例句与翻译语料

YoudaoBot抓取

官方页 ↗

C AI 大模型与 AI 检索15 家 · 25 个标识

欢迎引用

OpenAI

训练 / 搜索索引 / 实时浏览 三条分开的通道

GPTBot抓取 OAI-SearchBot抓取 ChatGPT-User抓取

★ 三条通道各管各的:关 GPTBot 只关训练,不影响 OAI-SearchBot 的引用通道。

官方页 ↗

欢迎引用

Anthropic(Claude)

训练 / 检索 / 实时 三通道(与 OpenAI 同构)

ClaudeBot抓取 Claude-SearchBot抓取 Claude-User抓取

★ 想被 Claude 引用就要留 SearchBot;收紧训练只关 ClaudeBot。

官方页 ↗

欢迎引用

Google(Gemini)(谷歌 Gemini)

训练用途开关(不是爬虫)

Google-Extendedrobots 令牌

★ 令牌不发请求,只在 robots.txt 里生效——别在日志里找它。

官方页 ↗

欢迎索引

Apple(苹果)

索引 + 训练用途开关

Applebot抓取 Applebot-Extendedrobots 令牌

官方页 ↗

欢迎索引

Meta(Facebook/Instagram)

链接预览 + AI 训练

facebookexternalhit抓取 FacebookBot抓取 meta-externalagent抓取 meta-externalfetcher抓取

facebookexternalhit 是分享卡片预览,关掉它别人转发你的链接会没图。

官方页 ↗

欢迎引用

Perplexity(Perplexity AI)

实时搜索问答

PerplexityBot抓取 Perplexity-User抓取

官方页 ↗

欢迎索引

Amazon(亚马逊)

Alexa 答案与商品/知识索引

Amazonbot抓取

官方页 ↗

欢迎索引

DuckDuckGo

隐私搜索 + AI 摘要

DuckDuckBot抓取 DuckAssistBot抓取

官方页 ↗

欢迎引用

You.com

AI 搜索

YouBot抓取

官方页 ↗

观察

Mistral AI(Mistral(法))

AI 助手实时取数与训练

MistralAI-User抓取

官方页 ↗

观察

Cohere

企业级模型训练

cohere-ai抓取

官方页 ↗

观察

Exa(原 Metaphor)

AI Agent 检索

ExaBot抓取

官方页 ↗

欢迎引用

Allen Institute for AI(Ai2)

开源研究语料

Ai2Bot抓取

官方页 ↗

观察

ImageSift(Hive)

图片训练集

ImagesiftBot抓取

官方页 ↗

观察

Timpi

去中心化搜索

Timpibot抓取

官方页 ↗

D SEO 与商业分析10 家 · 12 个标识

限流

Ahrefs

SEO 数据(不带来任何访客)

AhrefsBot抓取 AhrefsSiteAudit抓取

官方页 ↗

限流

Semrush

SEO 竞品分析

SemrushBot抓取

官方页 ↗

限流

Majestic

外链数据

MJ12bot抓取

官方页 ↗

限流

Moz

SEO 链接数据

rogerbot抓取 DotBot抓取

官方页 ↗

观察

Screaming Frog

站内审计工具(用户主动跑,不是厂商集群)

Screaming Frog SEO Spider抓取

官方页 ↗

限流

Blexbot(Webmeup)

SEO 数据

BLEXBot抓取

官方页 ↗

限流

Babbar(Barkrowler)

语料与 SEO

Barkrowler抓取

官方页 ↗

限流

DataForSEO

数据供应商

DataForSeoBot抓取

官方页 ↗

观察

Webz.io(原 Webhose)

语料供应商

omgili / omgilibot抓取

官方页 ↗

观察

Brandwatch(Cision)

舆情监测

magpie-crawler抓取

官方页 ↗

E 公共档案2 家 · 3 个标识

欢迎引用

Common Crawl(公共网页档案)

公共语料档案(非营利)

CCBot抓取

官方页 ↗

欢迎引用

Internet Archive(互联网档案馆)

网页历史存档

archive.org_bot抓取 ia_archiver抓取

官方页 ↗

F 技术监控与杂项4 家 · 5 个标识

观察·限流

华为(Petal Search)

花瓣搜索索引

PetalBot抓取 AspiegelBot抓取

官方页 ↗

限流

字节跳动(TikTok/抖音)

索引与训练(名字就叫 spider)

Bytespider抓取

官方页 ↗

欢迎

腾讯 DNSPod(DNSPod 监控)

可用性监控(每次只取首页)

DNSPod-Monitor抓取

官方页 ↗

观察

新浪(爱问)

问答内容索引

iaskSpider抓取

官方页 ↗