本文记录了作者遇到的一些固定IP地址持续访问已不存在网页的情况，并提出了这些IP可能属于某个公司的爬虫程序的猜想。同时，作者呼吁其他网站管理员检查日志以确认是否也遇到相同的问题。
手边的网站中,经常有几个ip来访问旧版本网站中已经不存在的网页.死不悔改.
很怀疑是哪家公司的spider,各位网站管理员,帮忙查下你们的日志,有没有同样的ip出现过.
日志中是这样的
2007-04-24 21:35:31 GET /a.aspx - 218.12.194.13 HTTP/1.1 Mozilla/5.0+(Windows;+U;+Windows+NT+5.1;+zh-CN;+rv:1.7.6) - 302 434
常见的ip有
218.12.194.13
218.12.194.17
218.12.194.41
218.12.194.18
218.12.194.42
218.12.194.32
218.12.194.28
都是一个网段里面的
谢谢.
很怀疑是哪家公司的spider,各位网站管理员,帮忙查下你们的日志,有没有同样的ip出现过.
日志中是这样的
2007-04-24 21:35:31 GET /a.aspx - 218.12.194.13 HTTP/1.1 Mozilla/5.0+(Windows;+U;+Windows+NT+5.1;+zh-CN;+rv:1.7.6) - 302 434
常见的ip有
218.12.194.13
218.12.194.17
218.12.194.41
218.12.194.18
218.12.194.42
218.12.194.32
218.12.194.28
都是一个网段里面的
谢谢.
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
