1.爬虫在使用场景中的分类 通用爬虫 抓取系统重要组成部分。抓取的是一整张页面数据。 聚焦爬虫 是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容。 增量式爬虫 检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据。 2.robots.txt协议 君子协议。规定了网站中哪些数据可以被爬虫爬取哪些数据不可以被爬取。 3.常用请求头信息 User-Agent：请求载体的身份标识Connection：请求完毕后，是断开连接还是保持连接 4.常用响应头信息 Content-Type：服务器响应回客户端的数据类型
本文介绍了网页爬虫的三种主要类型：通用爬虫、聚焦爬虫和增量式爬虫，讲解了它们各自的工作原理和应用场景。通用爬虫广泛抓取整个网站内容，聚焦爬虫则专注于页面的特定区域，而增量式爬虫关注网站的更新部分。此外，还提到了robots.txt协议，这是一个规定爬虫行为的规范。同时，讨论了HTTP请求头和响应头中的关键信息，如User-Agent和Content-Type，这些在爬虫实现中至关重要。
扫一扫
547
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
