28、谷歌自动化搜索技术全解析

谷歌自动化搜索技术全解析

黑帽自动谷歌搜索的业务需求与道德考量

自动化谷歌查询和页面抓取在某些情况下虽然必要，但它存在合法性和道德性问题。比如在保障网站安全时可能不得不使用，但谷歌也设置了限制，影响我们全面监控网络应用。为了更“道德”地自动查询谷歌或避免被列入谷歌 IP 黑名单，我们需要遵循以下自我管理的谷歌渗透测试道德准则：
1. 设置睡眠定时器 ：在应用程序中设置睡眠定时器，避免影响谷歌的全球响应时间。例如，不要尽可能快地发送 10000 个谷歌查询，每次传输之间应间隔 2 到 3 秒。
2. 避免镜像旧结果 ：不要简单地镜像旧的谷歌搜索结果，最好将查询链接到实时结果，而不是创建一个需要不断更新的旧结果数据库。
3. 获取许可 ：在进行测试或查询时，需获得“目标”网站的许可。
4. 智能查询 ：尽量减少发送到谷歌的查询数量。如果有一个通用数据库用于对谷歌上的所有网站进行查询，但其中一半是无关的，那就是在不必要地滥用系统。比如，如果目标应用或组织只使用 Windows 系统，就没必要扫描基于 Linux 的 CGI 漏洞。

更多关于谷歌锁定的信息可查看 此文章 。同时，我们还需了解谷歌的官方条款和条件：
- 标准搜索服务条款和协议