网络爬虫原理

网络爬虫流程
具体流程：
·需求者选区一部分种子URL，将其放入待爬取的队列中，如Java网络爬虫中，可以放入LinkedLIST或list中，
·判断URL队列是否为空，如果为空则结束程序的执行，否则执行第三部
·从待爬去的URL队列中取出待爬的一个URL，获取URL对应的网页内容。在此步骤需使用响应的状态码（200，403等）判断是否获取数据，如相应成功则执行解析操作，如相应不成功，则将其重新放入待爬取队列
·针对已经相应成功获取到数据，执行页面解析操作。此步骤根据用户需求获取网页内容里的部分数据。
·针对3步骤已解析的数据，将其进行存储