Godone_的博客

原创 网络爬虫技术概述（一）

网络爬虫技术就是通过编写程序，让其模拟浏览器上网，然后在互联网中抓取数据的过程。（1）关键词抽取：模拟：浏览器就是一个纯天然最原始的一个爬虫工具。抓取：抓取一整张的页面源码数据抓取一整张页面中的局部数据（2）爬虫的分类：通用爬虫：要求我们爬取一整张页面源码数据聚焦爬虫：要求爬取一张页面中的局部的数据（聚焦爬虫一定是建立在通用爬虫基础之上）。增量式爬虫：用来监测网站数据更新的情况，以便爬取到网站最新更新出来的数据。分布式爬虫：提高爬取效率的终极武器。反爬机制：是作用到门户网站中。