lxml的css用法

最新推荐文章于 2025-07-05 14:41:56 发布

y15518325965

最新推荐文章于 2025-07-05 14:41:56 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/y15518325965/article/details/79406407

本文介绍了一种使用Python的requests库和lxml库进行网页爬取的方法。具体步骤包括发送HTTP请求、解析HTML文档并提取所需数据。示例展示了如何获取页面上的导航链接及特定div标签下的用户名和内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#coding:utf-8
#__author__='wang'
import requests
from lxml import etree


response = requests.get('https://www.baidu.com')

html = etree.HTML(response.content,parser=etree.HTMLPullParser
(encoding='utf-8'))
res = html.cssselect('a.mnav')
for tag in res:
    print tag.text
    #获取标签中属性的值，attrib是一个字典，它将开始标签内的所有属性
（name，class，id，href，scr等）都生成了一个字典，之间通过键值获取即可
    print tag.attrib['href']

div_obj_list = html.cssselect('div.1_post')

for div_tag in div_obj_list:
    usrename = div_tag.cssselect('a.p_author_name')[0].text
    content = div_tag.cssselect('divd_post_content')[0].text
    print usrename
    print content