数据爬虫（六）：爬虫PyQuery基本使用

最新推荐文章于 2023-03-19 21:56:27 发布
最新推荐文章于 2023-03-19 21:56:27 发布
阅读量755 收藏 8
点赞数 1
分类专栏： python爬虫 文章标签： pyquery
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Byweiker/article/details/104071924
版权
PyQuery是Python中类似jQuery的库，适用于HTML解析。它提供了与jQuery相似的API，包括字符串、URL、文件初始化，CSS选择器，查找、遍历元素，获取文本和HTML内容，DOM操作如添加/删除类，修改属性和CSS等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

PyQuery简介

pyquery相当于jQuery的python实现，可以用于解析HTML网页等。它的语法与jQuery几乎完全相同，对于使用过jQuery的人来说很熟悉，也很好上手。

引用作者的原话就是：

“The API is as much as possible the similar to jquery.” 。

安装

使用 pip 或者 easy_install 都可以。
注意：由于 pyquery 依赖于 lxml ，要先安装 lxml ，否则会提示失败。

  1. 安装lxml：https://pypi.python.org/pypi/lxml/2.3/ (建议直接下载安装包，方便快捷)；
  2. 安装pyquery：easy_install pyquery 或者pip install pyquery；
  3. 验证：输入 import pyquery 回车不报错即安装成功

初始化

有 4 种方法可以进行初始化：
可以通过传入 字符串、lxml、文件 或者 url 来使用PyQuery。

 

1

2

3

4

5

from pyquery import PyQuery as pq

from lxml import etree d = pq(“<html></html>”)#传入字符串

d = pq(etree.fromstring(“<html></html>”))#传入lxml

d = pq(url=‘http://google.com/’) #传入url

d = pq(filename=path_to_html_file) #传入文件

现在，d 就像 jQuery 中的 $ 一样了。

字符串初始化

 

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

html = '''

<div>

    <ul>

         <li class="item-0">first item</li>

         <li class="item-1"><a href="link2.html">second item</a></li>

         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

         <li class="item-1 active"><a href="link4.html">fourth item</a></li>

         <li class="item-0"><a href="link5.html">fifth item</a></li>

     </ul>

</div>

'''

from pyquery import PyQuery as pq

doc = pq(html)

print(doc('li'))

查找所有的li标签。输出结果如下：

 

1

2

3

4

5

<li class="item-0">first item</li>

         <li class="item-1"><a href="link2.html">second item</a></li>

         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

         <li class="item-1 active"><a href="link4.html">fourth item</a></li>

         <li class="item-0"><a href="link5.html">fifth item</a></li>

 

URL初始化

 

 

1

2

3

from pyquery import PyQuery as pq

doc = pq(url='http://www.baidu.com')

print(doc('head'))

选出百度网站里面head标签里面的内容。
输出结果如下：

 

1

<head><meta http-equiv="content-type" content="text/html;charset=utf-8"/><meta http-equiv="X-UA-Compatible" content="IE=Edge"/><meta content="always" name="referrer"/><link rel="stylesheet" type="text/css" href="http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css"/><title>&#231;&#153;&#190;&#229;&#186;&#166;&#228;&#184;&#128;&#228;&#184;&#139;&#239;&#188;&#140;&#228;&#189;&#160;&#229;&#176;&#177;&#231;&#159;&#165;&#233;&#129;&#147;</title></head>

 

文件初始化

 

 

1

2

3

from pyquery import PyQuery as pq

doc = pq(filename='demo.html')

print(doc('li'))

 

基本CSS选择器

 

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

html = '''

<div id="container">

    <ul class="list">

         <li class="item-0">first item</li>

         <li class="item-1"><a href="link2.html">second item</a></li>

         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

         <li class="item-1 active"><a href="link4.html">fourth item</a></li>

         <li class="item-0"><a href="link5.html">fifth item</a></li>

     </ul>

</div>

'''

from pyquery import PyQuery as pq

doc = pq(html)

print(doc('
最低0.47元/天 解锁文章
爬虫解析库：pyquery的详细使用
数据知道的博客
02-24 2908
pyquery 是一个类似于 jQuery 的 Python 库，用于解析 HTML 和 XML 文档。它提供了简洁的 API，可以方便地提取和操作网页中的数据。动态内容：pyquery 只能解析静态 HTML，无法处理 JavaScript 动态加载的内容。如果需要处理动态内容，可以结合 Selenium 或 Pyppeteer 使用。通过以上方法，你可以使用 pyquery 轻松解析和提取网页中的数据。首先，确保你已经安装了 pyquery。pyquery 支持类似 jQuery 的选择器语法。
Python爬虫：一文掌握PyQuery模块
最新发布
数据知道的博客
03-02 2316
PyQuery 是一个类似于 jQuery 的 Python 库，用于解析和操作 HTML 文档。它提供了简洁的 API，使得 HTML 文档的解析和数据提取变得非常方便。PyQuery 基于 lxml 和 cssselect，支持类似于 jQuery 的语法，适合用于爬虫开发中的网页解析和数据提取。与其他解析库的比较​：BeautifulSoup 是另一个流行的 HTML 解析库，语法简单。
Python爬虫之PyQuery模块
06-24 677
Python爬虫之PyQuery模块一：PyQuery简介二：初始化2.1 字符串的初始化2.2 URL初始化2.3 文件初始化三：基本CSS选择器3.1 查找子节点3.2 查找父节点3.3 查找兄弟节点四：遍历五：获取信息5.1 获取属性5.2 获取文本六：节点操作6.1 addClass和removeClass6.2 attr、text和html6.3 remove()七：其他操作方法 一：PyQuery简介 pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML
Day33.爬虫基础之PyQuery
Tomandjava的博客
04-12 746
爬虫基础之PyQuery 文章目录爬虫基础之PyQuery前言一. PyQuery 基本操作1.1 初始化1.1.1 字符串初始化1.1.2 URL 初始化1.1.3 文件初始化1.2 基本 CSS 选择器1.3 查找元素1.3.1 子元素1.4 遍历1.4.1 单个元素二. PyQuery 高级操作2.1 获取信息2.1.1 获取属性2.1.2 获取文本2.1.3 获取 HTML2.2 [DOM操作](https://baike.baidu.com/item/DOM/8065263)2.2.1 addC
爬虫 之 pyquery
木剑温华 的 博客
11-26 281
这次是pyquery，适合通过css找节点，然后提取数据。   找父节点、找字节点、找兄弟节点 提取属性信息、提取文本信息、提取html信息 修改节点内容 ok，开始。   基本的导入与使用 from pyquery import PyQuery as pq html= ‘’‘～～～～～～～～‘’‘ doc = pq(html) print(doc('li')) 其实，初始化P...
python爬虫-PyQuery详解
YOUNGBC的博客
01-27 716
python爬虫-PyQuery详解 Python爬虫解析库，主流的有 PyQuery Beautifulsoup Scrapy Selectors 正则表达式。 PyQuery和scrapy Selectors都是基于lxml模块，而lxml和正则表达式都是C语言写的。 Beautifulsoup是用纯Python编写的。 正则表达式的构造稍微复杂一点，一般在结构化的网页中易出错。 我们声明...
Python爬虫之PyQuery
qq_24045059的博客
09-11 457
目录 安装 使用 初始化 字符串初始化 url初始化 文件初始化 基本CSS选择器 查找元素 查找子元素 查找父元素 parent parents 查找兄弟元素 遍历 获取文本 获取HTML DOM操作 修改class 修改属性 remove 安装 pip install pyquery 使用 初始化 字符串初始化 im...
京东图书爬虫：selenium与pyquery实战教程
- 使用PyQuery处理数据：在搜索结果页面，作者可能会使用pyquery库来解析HTML文档，提取所需的商品信息，如书名、价格、评价等。 通过这篇文章，读者可以学习到如何结合selenium的浏览器控制能力和pyquery的HTML...
爬虫之pyquery详解
qq_41973721的博客
07-12 283
pyquery 初始化 字符串初始化 1 html = ''' <div> <ul> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="ite...
爬虫pyquery基础篇
实践求真知
01-13 334
一 点睛 如果你对Web有所涉及，如果你比较喜欢用CSS选择器，如果你对jQuery有所了解，那么这里有一个更适合你的解析库——pyquery。 二 安装 (venv) E:\WebSpider&gt;pip install pyquery 三 初始化 1 点睛 pyquery初始化方式有多种，比如直接传入字符串，传入URL，传入文件名。 2 字符串初始化 2.1 代码 ht...
Python爬虫项目PyQuery全网最全介绍
程序之雅
03-19 3049
PyQuery是一个Python库，它提供了一种用于解析HTML、XML和JSON文档的非常直观和方便的方式。它基于jQuery库的选择器语法，并支持类似于XPath的表达式。
19-爬虫解析利器pyquery详解
热门推荐
bigzql的博客
10-15 1万+
强大灵活的网页解析库。如果你觉得正则写起来太麻烦，或者BeautifulSoup语法太难记，如果你熟悉jQuery的语法，那么pyquery就是最佳选择。它与jQuery api相同，可以无缝迁移 1.pyquery库的了解 pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML 文档，易用性和解析速度都很好。 1.1 pyquery库的安装方法: 在cmd输入:pip install pyquery 1.2 pyquery库的引用:(注意大小写) from pyq
2.9.2.3Python-解析库_PyQuery
寒暄的博客
02-09 327
总目录：https://www.jianshu.com/p/e406a9bc93a9 Python-爬虫 - 子目录：https://www.jianshu.com/p/23cf57674bf1 文档：https://pythonhosted.org/pyquery/ 如果感觉正则书写太过麻烦，beatifulsoup...
Python爬虫利器六PyQuery的用法
u013238956的博客
01-03 262
你是否觉得 XPath 的用法多少有点晦涩难记呢？ 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢？ 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢？ 你是否已经有了一些前端基础了解选择器却与另外一些奇怪的选择器语法混淆了呢？ 嗯，那么，前端大大们的福音来了，PyQuery 来了，乍听名字，你一定联想到了 jQuery，如果你对 jQuery 熟悉，那么 PyQuery 来解析文档就是不二之选！包括我在内！ PyQuery 是 Python 仿照 jQuery 的严格实现。语法
python 爬虫——针对query爬取百度百科页面
无限大地NLP_空木的专栏
03-15 3245
Preface:最近有些事情，需要爬取百度百科的东西，以前的给忘光了，不用就会忘记，还好有部分记录，可是以前大部分都因为没有记录又重新查找了很多东西，所以说经常记录很有必要。 coding: import codecs#用于打开文件夹保证编码格式 import urllib2#用于爬取 import re#用于匹配找到url import os#用于创建文件夹 from bs4
pyquery爬取数据的简单实例（参考）
xcf45683的博客
08-12 1065
爬取oschina部分指定网页内容（仅供参考） 初学者 发现一份总结的非常详细的参考资料：https://cuiqingcai.com/5551.html from pyquery import PyQuery as pq headers={“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (...
基于Python、PyQuery实现的一个网络爬虫实例
海洋顶端
01-03 3185
一、前言 由于项目需要，写了一个爬虫程序。用它解析唯品会中连衣裙的搜索结果页面（结果不止一页，需要循环解析），获取连衣裙的图片url（唯品会搜索结果页上的图片会有正反两张），然后把图片下载下来。因为以前用过一点JQuery，所以这里选择PyQuery。看中的是它强大的’选择器’，可以方便的取到我需要的标签，并且后续的取属性等操作也很方便。 二、遇到的问题 1.长时间无响应（卡死） 程序中使
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值