爬虫笔记3 Xpath语法与多进程爬虫

最新推荐文章于 2025-05-11 11:05:54 发布

兰博怎么玩儿

最新推荐文章于 2025-05-11 11:05:54 发布

阅读量336

点赞数

分类专栏：爬虫文章标签：爬虫 Xpath 多进程爬虫

本文链接：https://blog.youkuaiyun.com/qq_31496259/article/details/86379908

版权

爬虫专栏收录该内容

3 篇文章

订阅专栏

本文介绍了XPath的基本用法，包括通过lxml库获取文本和属性值，以及处理特殊情况如相同字符串开头和属性值包含相同字符串。通过实例对比，展示了XPath相对于BeautifulSoup在爬取速度上的优势。此外，文章还探讨了使用multiprocessing库实现多进程爬虫的方法，通过分配进程池提升爬取效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

@兰博怎么玩儿
本文介绍：本文介绍Xpath语法，并用一个实例对比BeautifulSoup与Xpath的爬取速度，最后我们再介绍如何多线程地运行爬虫程序。

1、Xpath的使用

1.1 基本用法

Xpath需要第三方库：lxml。其语法是：
获取文本：

//标签1[@属性1=“属性值1”]/标签2[@属性2=“属性值2”]/.../text()

获取属性值

//标签1[@属性1=“属性值1”]/标签2[@属性2=“属性值2”]/.../@属性n

Xpath可以通过以下方式获取：
1、鼠标放到网页上待抓取数据上（这里是糗事百科用户id），右键，检查。
在这里插入图片描述
2、开发工具中，右键所选元素，Copy–Copy-XPath

这样可以复制粘贴使用Xpath：

from lxml import etree
res = requests.get(url, headers=headers)
selector = etree.HTML(res.text)
url_infos = selector.xpath('//div[@class="article block untagged mb15"]/div[1]/a[2]/h2/text()')[0]

注意，第一个div标签为div[1]而不是div[0]。

1.2 特殊情况

相同字符串开头

<body>
	<div id="test-1">需要的内容1</div>
	<div id="testuseful">需要的内容2</div>
	<div id="useless">不需要的内容</div>
</boidy>

假如有如上HTML代码，要抓取需要的内容1，需要的内容2，可以利用start-with(@属性名,“相同的开头部分”)来获取：

//div[start-with(@id,"test")]/text()

属性值包含相同字符串

<body>
	<div id="abc-key">需要的内容1</div>
	<div id="ab-keycd">需要的内容2</div>
	<div id="useless">不需要的内容</div>
</boidy>

假如有如上HTML代码，要抓取需要的内容1，需要的内容2，可以利用contains(@属性名,“相同的部分”)来获取：

//div[contains(@id,"-key")]/text()

支持先取大后取小
Xpath可以先抓取一个标签，然后再对这个标签进一步执行Xpath，例如对于：

//div[@id=“useful”]/li/ul[2]/text()

可以分成两步执行：

useful=selector.xpath('//div[@id=“usefull”]')
info=useful.xpath('li/ul[2]/text()')

2、实战：速度对比

这里我们通过爬取糗事（https://www.qiushibaike.com/text/）百科文字板块来比较BeautifulSoup与Xpath的爬取速度。爬取的内容有用户id，笑话内容，点赞数和评论数。
在这里插入图片描述
代码如下：

import requests
from bs4 import BeautifulSoup
from lxml import etree
import time

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
}

urls = ['http://www.qiushibaike.com/text/page/{}/'.format(str(i)) for i in range(1,36)]

def bs_scraper(url):
    res = requests.get(url, headers=headers)
    soup = BeautifulSoup(res.text,'lxml')
    ids = soup.select('a > h2')
    contents = soup.select('div > span')
    laughs = soup.select('span.stats-vote > i')
    comments = soup.select('i.number')
    for id,content,laugh,comment in zip(ids,contents,laughs,comments):
        info = {
            'id':id.get_text(),
            'content':content.get_text(),
            'laugh':laugh.get_text(),
            'comment':comment.get_text()
        }
        return info

def lxml_scraper(url):
    res = requests.get(url, headers=headers)
    selector = etree.HTML(res.text)
    url_infos = selector.xpath('//div[@class="article block untagged mb15"]')
    try:
        for url_info in url_infos:
            id = url_info.xpath('div[1]/a[2]/h2/text()')[0]
            content = url_info.xpath('a[1]/div/span/text()')[0]
            laugh = url_info.xpath('div[2]/span[1]/i/text()')[0]
            comment = url_info.xpath('div[2]/span[2]/a/i/text()')[0]
            info = {
                'id':id,
                'content':content,
                'laugh':laugh,
                'comment':comment
            }
            return info
    except IndexError:      #忽略内容错误（无评论或点赞）
        pass

if __name__ == '__main__':
    for name,scraper in [('BeautifulSoup',bs_scraper),('Lxml',lxml_scraper)]:
        start = time.time()        #记录开始时间
        for url in urls:
            scraper(url)
        end = time.time()          #记录终止时间
        print(name,end-start)      #运行时间

运行结果：
爬取35页：
在这里插入图片描述
速度差异显而易见，因此我们更推荐使用Xpath来抓取大量网页的数据。如果再结合这多线程爬取，速度提升将更为显著。

3、多进程爬虫

这里我们介绍一种较为简单，适合线程代码执行较少的多线程方法：利用multiprocessing库的进程池进行多进程爬虫，方法如下：

from multiprocessing import Pool
pool = Pool(processes=5)
pool.map(funs, iterable)

代码第二行分配了5个进程池，第三行，参数funs为需要运行的函数；iterable是迭代参数，在爬虫中可以是url集。
仍然是第二部的实例，我们单独给Xpath方法分配7个进程池并行运行程序，与单进程的运行时间做对比：
更改了主函数：

if __name__ == '__main__':
    start1 = time.time()
    for url in urls:
       lxml_scraper(url)
    end1 = time.time()
    print('1个进程:',end1-start1)

    start2 = time.time()
    pool = Pool(processes=7)
    pool.map(lxml_scraper, urls)
    end2 =time.time()
    print('7个进程:',end2-start2)