IIS日志分析方法

最新推荐文章于 2025-05-23 21:14:30 发布

weixin___tzseo1

最新推荐文章于 2025-05-23 21:14:30 发布

阅读量874

点赞数

CC 4.0 BY-SA版权

文章标签： SEO IIS

本文链接：https://blog.youkuaiyun.com/tzseo1/article/details/92112277

本文介绍了IIS日志的作用，重点解析了日志中的关键信息，如IP地址、时间戳、HTTP状态码等，并列举了常见搜索引擎的爬虫名称。通过对IIS日志的分析，可以了解搜索引擎蜘蛛的爬取行为，如爬取频率、成功与失败状态码，以优化网站SEO。同时，文章详细列举了IIS各种HTTP状态码的含义，帮助理解服务器响应状态。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

IIS日志的用途就是能够观察搜索引擎的蜘蛛来我们网站的爬取情况，可以更近距离的分析和接触蜘蛛。爬取次数，爬取时间点，爬取高峰期，爬取反应出来的HTTP状态码，为我们带来清晰的分析便利。
一、各大搜索引擎的蜘蛛名称：
百度（Baidu）爬虫名称（Baiduspider）
谷歌（Google）爬虫名称（Googlebot）
雅虎（Yahoo）爬虫名称（Yahoo Slurp）
有道（Yodao）蜘蛛名称（YodaoBot）
搜狗（sogou）蜘蛛名称（sogou spider）
MSN的蜘蛛名称：msnbot

二、IIS分析：
案例日志：61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] “GET /thread-7303-1-1.html HTTP/1.1” 200 8450 “-” “Baiduspider(+http://www.baidu.com/search/spider.htm)”
分析：
1、61.135.168.22 是访问了是服务器ＩＰ为这个的网站．
2、11/Jan/2009:04:02:45　表示蜘蛛爬行时间
3、GET /thread-7303-1-1.html HTTP，表示蜘蛛抓取了这个页面。
4、200 状态码表示蜘蛛抓取页面成功;404表示蜘蛛抓取页面失败。
5、8450 表示此次抓取了8450个字节
6、Baiduspider(+http://www.baidu.com/search/spider.htm)表示百度蜘蛛的名称

三、基本状态码：
200：请求已经完成，蜘蛛访问页面正常
301：已经移动，永久重定向
302：临时重定向
304：蜘蛛爬取后发现，页面没有修改
305：使用代理
400：请求错误
404：找不到页面

四、IIS详细状态码含义：
100 - 表示已收到请求的一部分，正在继续发送余下部分。
　　101 - 切换协议。
　　200 - 确定。客户端请求已成功。
　　2XX - 成功　服务器成功地接受了客户端请求。 (只要