DotBot是什么蜘蛛？什么是DotBot搜索引擎？

DotBot是什么蜘蛛爬虫

DotBot是Moz的网络爬虫程序，Moz旗下链接分析网站opensiteexplorer专门用来分析网站SEO外链数据，BotBot蜘蛛爬虫就是为Moz服务，在互联网上抓取大量的网页进行各种数据分析。

如果我们不希望Dotbot抓取自己的网站，可以使用robots.txt进行评比。DotBot遵robots.txt协议。

DotBot蜘蛛爬虫原型

Moz蜘蛛爬虫UA："Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)"

网站如何禁止DotBot抓取

在我们的网站根目录中的robots.txt文件中写上如下代码：

User-Agent: AhrefsBot
Disallow: /
User-Agent: DotBot
Disallow: /
User-Agent: MJ12bot
Disallow: /
User-Agent: SemrushBot
Disallow: /

以上本篇文章的全部内容了，感兴趣的小伙伴可以看看，更多精彩内容关注腾轩网www.tengxuanw.com