1.首先你等下一个日志分析工具:笔者用的光年日志分析。百度光年日志分析工具就可以下载了,这里不提供下载页面。下载完后安装解压,如图所示

2.如果你的FTP里面没有LOG文件夹的话那么就得登入你的空间服务器提取log日志。系统默认的日志文件路径是:C:WINDOWSsystem32LogFiles ,W3SVC就是你要提取的文件,这个文件里面有你网站每天的日志文件.这里需要补充一点的就是如果你服务器里面有多个网站的话,那么你得先弄清楚哪个文件夹是你需要的日志文件夹。按如下步骤操作:打开空间管理器——找到你网站——右键——属性——网站--属性P——浏览下面就能看到文件夹名称(详见如图红色部位)


3.提取出的文件放到你的D盘网站跟目录下然后通过FTP传送到本地电脑。
4.打开光年日志工具GnAnalyzer.exe——新建分析任务(找到你刚下载的日志文件)——选择分析文件存放路劲——确定。分析结束后找到你存放结果的文件夹找到HTM结果的文件就能看到日志分析结果了。

如上图所示就能查看到蜘蛛来我网站的情况了,由于笔者现在优化的展览器材行业网站是一个新站,特别是易拉宝这个关键词也比较热,所以现在蜘蛛来拍的次数和抓取量比较可怜。如上图所示左边就可以查看到各大搜索引擎的蜘蛛到底爬了你网站的哪个页面,到了哪个页面走不下去了。