爬取Google的数据,有时被Block,可以让程序随机跳换IP地址,或者增加请求间隔时间,增大每页的查询量等等手段
还有这里列出了 Google Data Centers List for SEO
可以直接访问这些地址,以代替相应的google域名
http://www.vaughns-1-pagers.com/internet/google-data-centers.htm
HERE is a list of about 122 currently active server clusters(?) at 40 Google Data Centers (C-blocks). Since the active servers do not update in any predictable way, it can be helpful for SEO to observe various individual active servers for search engine optimization purposes.
本文介绍了爬取Google数据时遇到被Block问题的应对策略,包括随机更换IP地址、增加请求间隔时间等方法,并提供了Google数据中心列表及用于SEO观察的活动服务器集群地址。
4712

被折叠的 条评论
为什么被折叠?



