本文探讨了网络爬虫开发初期遇到的问题，特别是如何从网页中有效地区分并提取有用的链接，排除JS等非网页文件，并应对防盗链技术。
最近开始开发网络爬虫，我的设想是先将网页中链接抓取，然后保存到文本文件，但是一开始就碰到了问题，网页后缀名千奇百怪，不知道怎么去提取有用的网页链接，比如说，后缀名为JS的文件根本就可以掉，但是非网页的文件太多了，不知道怎么区分，而且很多网页做了防盗链技术，导致无法正确区分网页与文件，那位大侠指点指点，在下谢过
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
