SEO工具：Googlebot 有哪几种？

最新推荐文章于 2024-08-16 16:54:17 发布

转载最新推荐文章于 2024-08-16 16:54:17 发布 · 134 阅读

CC 4.0 BY-SA版权

文章标签：

本文介绍了Googlebot的不同类型及其各自的任务，包括抓取网页内容、图片、手机搜索内容等，并提到了如何通过robots.txt文件来控制Googlebot的行为。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Googlebot 我们一般称为Google 机器人或Google 探测器。

Google “派遣”了不同的Googlebot 对网页内容进行获取。主要包括：

Googlebot：抓取网页中的文字内容。获取的内容保存于Google 网页搜索和新闻搜索的数据库。我们一般谈的Google 机器人主要指这个。
Googlebot-Mobile：抓取网页中的文字内容，用于Google 手机搜索。
Googlebot-Image：抓取网页内的图片内容，保存入Google 图片搜索数据库。
Mediapartners-Google：抓取网页中的文字内容，用于Google Adsense 分析关键词。只有投放了Google Adsense 的网页才会被 Mediapartners-Google 探测器爬取。
Adsbot-Google：抓取网页中的文字内容，用于为Google AdWords 提供参考。只有Google AdWords 的目标网页才会被 Adsbot-Google 探测器爬取。

Googlebot 和Mediapartners-Google 是非常勤奋的机器人，如果他们影响到你服务器的承受力，你可以通过 robots.txt 文件加以制止。

转载于:https://www.cnblogs.com/junzhongxu/archive/2008/11/25/1340569.html