python requests lxml etree xpath 获取网页信息

marc_chen

于 2022-07-03 23:01:59 发布

阅读量496

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python 开发语言

本文链接：https://blog.youkuaiyun.com/marc_chen/article/details/125591196

python 专栏收录该内容

27 篇文章

订阅专栏

本文介绍如何利用Python的requests库抓取网页内容，并结合lxml库中的etree和xpath方法进行数据解析和提取，从而高效地获取所需信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python requests lxml etree xpath 获取网页信息

import requests
from lxml import etree
import re
baseurl = "https://desk.zol.com.cn/"
url = "https://desk.zol.com.cn/dongman/"
#获取网页
data = requests.get(url)   #获取网页内容
data.encoding = "gbk"    #编码为gbk
et = etree.HTML(data.text)   #将网页内容加载到etree中

#从网页中找链接
list_urls = et.xpath('//ul[@class="pic-list2  clearfix"]/li/a/@href')     #使用xpath找到对应元素列表
for item in list_urls:           #拼接url
    urls = baseurl + item
#列出链接
    print(urls)