xpath 具体应用

最新推荐文章于 2025-03-25 09:23:23 发布

han_yanlong

最新推荐文章于 2025-03-25 09:23:23 发布

阅读量421

点赞数

CC 4.0 BY-SA版权

文章标签： xpath 爬虫 python

本文链接：https://blog.youkuaiyun.com/han_yanlong/article/details/76910788

本文介绍了一个使用Python进行网页爬取的例子，通过XPath解析HTML文档，抓取了伯乐在线网站上的文章封面图片及文章链接和标题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: utf-8 -*-
import sys
import requests
from lxml import etree
import codecs
reload(sys)
sys.setdefaultencoding("utf-8")
# 伯乐在线最新文章首页源码 3.html 存本地使加快请求速度

# open后为路径 建议用相对路径 第一个点表示当前文件上一级路径
content = codecs.open("./3.html", "r", encoding="utf-8").read()
# print content
doc = etree.HTML(content)
# print doc

# 获取所有文章封面img
img_list = doc.xpath('''//div[@class="post floated-thumb"]//img''')
# print img_list
for img in img_list:
    try:
        print img.xpath("@src")[0]
        alt = img.xpath("@alt")[0]
        if alt:
            print alt
        else:
            print "该图片没有alt属性"
        print '--------------------'
    except IndexError as e:
        print '该图片没有alt属性'

# 获取所有博客标题和详情
div_list = doc.xpath("//div[@class='post floated-thumb']")
for div in div_list:
    a = div.xpath("div[@class='post-thumb']/a")[0]
    detai_url = a.xpath("@href")[0]
    title = a.xpath("@title")[0]
    img = a.xpath("img")[0]
    img_src = img.xpath("@src")[0]
    print title, detai_url, img_src
    print '---------------------------'