stupid soso spider

weixin_34233421

于 2019-06-30 00:58:36 发布

阅读量143

点赞数

原文链接：http://www.cnblogs.com/perfectdesign/archive/2009/07/22/1528717.html

版权

本文描述了一种抓取机器人的异常行为，该机器人不仅频繁抓取网站内容导致IP被屏蔽，还错误地抓取了不存在的分页链接，并自行拼凑网站链接。这种行为在雅虎、谷歌和百度等主流搜索引擎中未曾出现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

抓取太过频繁屏蔽了它的N个IP段又换IP来抓，抓我的分页链接居然抓到负一百多页，我都不明白它怎么算出来的。
好多我自己都不知道的链接，他都来抓，把链接的A部分拼凑到另外的链接的B部分，可真是够滑稽的，雅虎和谷歌百度从来没见过这副德行，也不知道他们的算法怎么个........................

转载于:https://www.cnblogs.com/perfectdesign/archive/2009/07/22/1528717.html

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。