qq_38196449的博客

Beautiful Soup支持Python标准库中的HTML解析器，还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快，推荐安装。组合查找即和写 class 文件时，标签名与类名、id名进行的组合原理是一样的，例如查找 p 标签中，id 等于 link1的内容，二者需要用空格分开。我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加 #，在这里我们也可以利用类似的方法来筛选元素，用到的方法是。

不难看出，规律在于start参数，每页有25条数据。成功爬取豆瓣电影TOP250榜单。编写代码前我们先看看榜单的url。安装requests和lxml。我们复制下xpath。那么按照分页计算公式。

除了requests模块可以发送请求之外, urllib模块也可以实现请求的发送,只是操作方法略有不同!urllib在python中分为urllib和urllib2，在python3中为urllib下面以python3的urllib为例进行讲解#构造请求#发送请求获取响应。

【代码】手把手教你用Python爬虫抓取某度热搜：入门实战指南。