爬取整站的思路

网络爬虫的英文单词是 Web crawler

一种思路

先采集一个页面的所有的链接，再随机选择一个新链接，继续采集新链接下的所有链接。依此类推，使用递归函数…

如果要爬取的网站数据足够多，而且又不考虑数据的完整，整合性之类的话，这种方式还是挺管用的，而且它的通用性也好，只要一个代码，什么网站都可以爬。
但，如果是要把整个网站都下下来，而且尽可能保持其原有的目录结构，还是多分析该网站的网站地图，导航索引，以及前端风格这些吧。