境里婆娑

一、xpath介绍 xpath是一门在 XML 文档中查找信息的语言。最初是用来搜寻 XML 文档的，但同样适用于 HTML 文档的搜索。所以在做爬虫时完全可以使用 XPath 做相应的信息抽取。 二、安装lxml lxml是Python的一个第三方解析库，支持HTML和XML解析，而且效率非常高，弥补了Python自带的xml标准库在XML解析方面的不足。 由于是第三方库，所以在使用 lxml 之前需要先安装：pip install lxml 三、xpath解析原理 1.实例化一个etre

一、什么是爬虫 通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。 1、爬虫带来的风险可以体现在如下2方面： 爬虫干扰了被访问网站的正常运营 爬虫抓取了收到法律保护的特定类型的数据或信息 2、爬虫在使用场景中的分类 通用爬虫： 抓取系统重要组成部分。抓取的是一整张页面数据。 聚焦爬虫： 是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容。 增量式爬虫： 检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据。 3、反爬机制 门户网站，可以通过制定相应的策略或者...