各大搜索引擎蜘蛛名称

Baiduspider 【百度】

Sogou web spider 【搜狗】

Googlebot 【谷歌】

360Spider 【360】

YisouSpider 【神马】

Bytespider 【今日头条】

Bingbot 【必应】

Sosospider 【搜搜】

MSNBot，MSNot-media（MSN蜘蛛）

Yahoo! Slurp China（雅虎中国）或 Yahoo! Slurp（雅虎英文）

下面的蜘蛛建议屏蔽

YoudaoBot【有道】

JikeSpider【即刻】

EasouSpider（宜搜蜘蛛）

YYSpider：据说是个人写的蜘蛛程序

ToutiaoSpider（头条号）

MJ12bot： 英国的一个搜索引擎

YandexBot：国外的一个网站分析平台

Rogerbot：Moz 网站的机器人

DotBot  Moz 的官方机器人 DotBot

exabot：Exalead或Dassault Systemes网站的机器人。

ia_archiver（Alexa蜘蛛）：Alexa 的网站和网站审计爬虫。

Teoma：是美国 Ask Jeeves 搜索引擎的蜘蛛，在美国占 5% 的搜索份额。

gigabot：搜索到的是一个 3D 打印公司，没什么乱用，屏蔽即可。

DOCOMO Sprider：日本 NTT DoCoMo 旗下的搜索引擎蜘蛛，是垃圾搜索引擎爬虫，有看到你的日志里面有这只蜘蛛，直接毫不犹豫的禁掉。

AhrefsBot：国外的一个网站监控工具
SemrushBot：应该也是一个网站分析工具。