本文介绍如何通过为动态生成的网页添加特定后缀名，使站长工具的爬虫功能能够正确抓取这些页面。当网站使用动态生成的内容时，通常需要手动指定文件后缀以便爬虫识别。
站长工具的爬虫功能是搜索“html”的静态页面，动态页面是无法爬到的。当你的网页是动态生成时，要加入后缀名，比如www.xxx.com/index.do
加上“index.do”后缀才能爬到页面。
不同代码生成的动态页面后缀名也不同。当你输入网址“www.xxx.com”加载完成后，如果出现后缀，则把后缀也添加进去。不出现后缀，则可以直接输入网址搜索。
扫一扫
3361
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
