Python爬虫基础教程（97）Pyspider爬虫框架之选择器pyquery测试：PyQuery选择器秘籍：让网页爬取像吃蛋糕一样简单

网页爬虫没必要复杂，PyQuery让数据抓取变得优雅。

初识PyQuery：为什么它如此强大？

PyQuery是一个Python库，它采用了与jQuery极为相似的语法，能够快速解析HTML文档并提取所需数据。如果你熟悉前端开发，那么PyQuery会让你感到异常亲切。

PyQuery的最大优势在于： 它允许我们使用CSS选择器来定位和提取网页元素，这种方式比正则表达式更直观，比XPath更易学。

在pyspider框架中，PyQuery被集成为核心解析工具，当我们使用response.doc时，实际上就是在操作一个PyQuery对象。这意味着我们无需额外导入库，就可以直接使用PyQuery的所有功能。

与其他解析库相比，PyQuery具有以下特点：

• 语法简洁，学习曲线平缓
• 类似于jQuery，前端开发者上手极快
• 自动处理编码问题，减少乱码烦恼
• 支持链式调用，使代码更加简洁
• 内置HTTP客户端，可直接从URL加载文档

环境搭建：轻松准备好爬虫工作台

在开始编写爬虫之前，我们需要先搭建好环境。pyspider的安装非常简单，只需一行命令：

pip install pyspider

安装完成后，在终端输入pyspider all启动服务，然后在浏览器中访问localhost:5000，就能看到pyspider的WebUI界面。这个界面非常强大，不仅可以创建和管理项目，还提供了脚本编辑、调试和结果查看等功能。

创建一个新项目：

1. 点击界面上的"Create"按钮
2. 输入项目名称
3. 设置起始URL
4. 进入脚本编辑界面

pyspider会自动生成一个基础脚本模板，包含on_start、index_page等基本方法。这个模板为我们提供了良好的起点，只需在此基础上进行修改即可。

PyQuery选择器详解：从入门到精通

基本元素选择

让我们从最基本的元素选择开始。假设我们有一个简单的HTML文档：

<div>
  <p>test 1</p>
  <p>test 2</p>
</div>

如果我们想选择所有的p标签，可以使用以下代码：

p_tags = response.doc('p')

这样我们就可以获取到所有的p标签。如果要获取第一个p标签的HTML内容，可以使用：

first_p_html = response.doc('p').html()

而要获取其文本内容，则可以使用：

first_p_text = response.doc('p').text()

需要注意的是，当选择器匹配多个元素时，html()和text()方法只返回首个元素的内容。

精准定位：EQ、FILTER和FIND