【python】使用xpath爬取数据

最新推荐文章于 2024-07-01 16:23:54 发布

evan_qb

最新推荐文章于 2024-07-01 16:23:54 发布

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习

本文链接：https://blog.youkuaiyun.com/Evan_QB/article/details/80747771

机器学习专栏收录该内容

16 篇文章

订阅专栏

本文介绍了一个使用Python和lxml库抓取糗事百科网站内容的实例。通过发送HTTP请求获取网页源码，并利用XPath解析页面结构，提取用户的图片链接、用户名、投票数、评论数及段子内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本次素材我们以糗事百科为例子: https://www.qiushibaike.com/8hr/page/1/

# -*- encoding:utf-8 -*-

import requests
from lxml import etree
import re

page = 1
url = "https://www.qiushibaike.com/8hr/page/" + str(page)
print(url)
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36',
    'Accept-Language': 'zh-CN,zh;q=0.8'
}

try:
    response = requests.get(url,headers=headers)
    resHtml = response.text
    html = etree.HTML(resHtml)
    result = html.xpath('//div[contains(@id,"qiushi_tag")]')
    for site in result:
        if len(site.xpath("./div/a/img/@src")) > 0:
            imgUrl = site.xpath("./div/a/img/@src")[0].encode('utf-8')
        # username = site.xpath('./div/a/@title')[0].encode('utf-8')
        username = site.xpath('.//h2')[0].text.strip().encode('utf-8')
        contents = site.xpath('.//div[@class="content"]/span/.')
        text = ''
        for content in contents:
            text += content.text.strip().encode('utf-8')
        # 投票次数
        vote = site.xpath('.//i')[0].text
        # 评论信息
        comments = site.xpath('.//i')[1].text
        if len(imgUrl) > 0:
            print("图片链接:%s\n用户名:%s\n投票次数:%s\n评论信息:%s\n内容:%s\n\n" % (imgUrl,username,vote,comments,text))
        else:
            print("用户名:%s\n投票次数:%s\n评论信息:%s\n内容:%s\n\n" % (username, vote, comments, text))
except Exception, e:
    print(e)

结果如下: