《爬虫/蜘蛛/设备标识全量识别清单》
PS：跳转/屏蔽代码专用核对清单
屏蔽代码：http://www.sheepyc.com/misc.php?mod=tag&id=41
爬虫/蜘蛛全量识别清单（UA）：
bot|spider|crawl|crawler|index|archive|gptbot|oai-searchbot|chatgpt-user|claudebot|claude-searchbot|claude-user|xai-searchbot|xai-bot|xai-grok|meta-externalagent|meta-externalfetcher|perplexitybot|perplexity-user|huggingfacebot|amazonbot|coherebot|inflectionbot|google-extended|ccbot|doubaobot|yuanbaobot|hunyuanbot|qwenbot|tongyibot|wenxinbot|moonshotbot|deepseekbot|kimibot|zhipubot|youbot|googlebot|bingbot|slurp|yandexbot|duckduckbot|applebot|baiduspider|sogouspider|bytespider|YisouSpider|youdaobot|360spider|sosospider|toutiaospider|semrush|ahrefs|petalbot|exabot|facebot|facebook|twitter|linkedin|telegram|ia_archiver|grok\/1\.0|grokbot
搜索引擎蜘蛛清单（referer）：
google|bing|yahoo|yandex|duckduckgo|apple|baidu|sogou|shenma|sm|youdao|360|soso|toutiao
Ai平台爬虫清单：
openai|anthropic|claude|xai|perplexity|huggingface|cohere|inflection|meta|gemini|doubao|wenxin|tongyi|qianwen|hunyuan|moonshot|deepseek|grok
移动设备清单：
mobile|iphone|ipod|android.*mobile|windows\s*phone|blackberry|opera\s*mini|ucweb|meego|silk|kindle|playbook|nintendo|playstation|wii
平板设备清单：
ipad|android.*tablet|tablet
PC电脑设备清单：
windows\s*nt|macintosh|mac\s*os\s*x|x11|cros|linux\s*(x86|amd64|i686)
static/image/hrline/line3.png
下一页是每个爬虫/设备标识的简介
爬虫/搜索引擎/AI平台/设备UA标识释义清单.txt
==============================
【一、爬虫/蜘蛛全量识别清单 释义】
==============================
bot：全球通用机器人标识，几乎所有搜索引擎、AI爬虫、采集机器人都会携带该特征。
spider：标准网页蜘蛛标识，是各类搜索引擎官方爬虫的经典特征字段。
crawl：通用网页爬取程序标识，多用于AI训练、网页收录抓取程序。
crawler：专业爬虫程序标识，区别于简单采集，为官方正规抓取程序。
index：搜索引擎网页索引程序标识，用于网页建库收录。
archive：网页存档爬虫标识，用于互联网网页归档备份抓取。
gptbot：OpenAI官方GPT大模型爬虫，用于模型训练数据采集。
oai-searchbot：OpenAI搜索产品专用索引爬虫，负责网页内容收录。
chatgpt-user：ChatGPT联网浏览功能用户代理，用户提问触发网页抓取。
claudebot：Anthropic Claude大模型官方训练爬虫。
claude-searchbot：Claude搜索功能专属网页索引爬虫。
claude-user：Claude联网阅读网页时的用户抓取代理标识。
xai-searchbot：xAI Grok搜索引擎官方索引爬虫。
xai-bot：xAI平台通用官方爬虫标识。
xai-grok：Grok大模型专属网页数据采集爬虫。
meta-externalagent：Meta Llama大模型外网数据抓取代理。
meta-externalfetcher：Meta平台网页预览、内容抓取官方爬虫。
perplexitybot：Perplexity AI搜索引擎官方索引爬虫。
perplexity-user：Perplexity用户实时联网查询网页的代理标识。
huggingfacebot：HuggingFace开源AI平台官方网页采集机器人。
amazonbot：亚马逊官方爬虫，用于商品与搜索内容索引收录。
coherebot：Cohere海外大模型官方网页训练爬虫。
inflectionbot：Inflection AI大模型网页数据采集爬虫。
google-extended：Google Gemini大模型专项训练爬虫标识。
ccbot：Common Crawl开源全网数据集爬虫，供全球AI训练使用。
doubaobot：字节跳动豆包大模型官方网页爬虫。
yuanbaobot：元宝大模型官方爬虫标识。
hunyuanbot：腾讯混元大模型官方网页采集爬虫。
qwenbot：阿里通义千问大模型专属爬虫标识。
tongyibot：阿里通义系列AI通用官方爬虫。
wenxinbot：百度文心大模型全系爬虫通用标识。
moonshotbot：月之暗面Kimi大模型官方网页爬虫。
kimibot：Kimi智能助手专属网页抓取爬虫标识。
deepseekbot：深度求索DeepSeek大模型官方采集爬虫。
zhipubot：智谱AI大模型官方网页爬虫标识。
youbot：优必选AI智能平台官方网页爬虫。
google：谷歌Googlebot搜索引擎核心爬虫标识。
bing：微软必应Bingbot官方搜索引擎爬虫。
yahoo：雅虎搜索引擎官方收录爬虫标识。
yandex：俄罗斯Yandex搜索引擎官方爬虫。
duckduckbot：DuckDuckGo隐私搜索引擎爬虫。
slurp：雅虎经典老牌搜索引擎爬虫代号。
applebot：苹果Applebot搜索引擎与Siri收录爬虫。
baidu：百度Baiduspider搜索引擎核心爬虫标识。
sogou：搜狗搜索引擎官方网页收录爬虫。
bytespider：字节跳动通用全网搜索引擎爬虫。
shenma：UC神马搜索官方网页索引爬虫。
360spider：360搜索引擎全网收录爬虫。
soso：腾讯搜搜旧版搜索引擎爬虫标识。
toutiao：头条搜索官方网页收录爬虫标识。
youdao：网易有道搜索引擎官方爬虫。
semrush：Semrush海外SEO分析工具官方爬虫。
ahrefs：Ahrefs外链权重分析SEO工具爬虫。
petalbot：华为花瓣搜索引擎官方爬虫。
exabot：法国Exalead全网检索搜索引擎爬虫。
facebot：Facebook网页预览与内容抓取爬虫。
facebook：Meta Facebook平台全网内容收录爬虫。
twitter：X（原推特）社交平台网页预览爬虫。
linkedin：领英职场社交平台网页内容抓取爬虫。
telegram：Telegram电报链接预览机器人爬虫。
ia_archiver：互联网档案馆时光机全网存档爬虫。
Grok/1.0：马斯克
==============================
【二、移动设备UA清单 释义】
==============================
mobile：通用移动设备标识，所有手机移动端通用特征。
iphone：苹果iPhone手机设备UA标识。
ipod：苹果iPod移动便携设备标识。
android.*mobile：安卓全系手机设备精准匹配标识。
windows\s*phone：微软WP手机系统移动端标识。
blackberry：黑莓商务手机设备UA特征。
opera\s*mini：欧朋迷你手机浏览器移动端标识。
ucweb：UC浏览器移动端专属设备标识。
meego：诺基亚Meego系统移动设备标识。
silk：亚马逊Silk浏览器移动端设备特征。
kindle：亚马逊Kindle电子书移动设备标识。
playbook：黑莓平板移动便携设备标识。
nintendo：任天堂掌机游戏移动设备标识。
playstation：索尼PS掌机设备UA特征。
wii：任天堂Wii便携游戏设备标识。
==============================
【三、平板设备UA清单 释义】
==============================
ipad：苹果iPad全系平板设备专属UA标识。
android.*tablet：安卓全系平板设备精准匹配特征。
tablet：通用平板设备兜底匹配标识，适配所有平板机型。
==============================
【四、PC电脑设备UA清单 释义】
==============================
windows\s*nt：Windows全系桌面电脑系统通用标识。
macintosh：苹果Mac全系桌面电脑设备通用特征。
mac\s*os\s*x：Mac OS X苹果桌面系统精准标识。
x11：Linux、Unix桌面系统通用窗口协议标识。
cros：谷歌Chrome OS桌面系统设备标识。
linux\s*(x86|amd64|i686)：Linux全系桌面电脑架构设备标识。
页:
[1]