爬虫提取标签的几种方式

最新推荐文章于 2025-06-12 18:02:07 发布

疯子vs年华

最新推荐文章于 2025-06-12 18:02:07 发布

阅读量9k

点赞数 3

CC 4.0 BY-SA版权

文章标签： xpath Selector python

本文链接：https://blog.youkuaiyun.com/chang995196962/article/details/83376467

我最喜欢用两种解析方式

#第一种解析方式  etree+xpath  提取匹配标签
a = "<div class='a'>123<p>1455555</p></div>"

from lxml import etree
con = etree.HTML(a)
print(con)
print(con.xpath("//div/text()"))
print(con.xpath("//div/p/text()"))
print(con.xpath("//div//text()"))

# 输出结果:
['123']
['1455555']
['123', '1455555'] 


# 第二种提取标签的方式  Selector +css 提取

from scrapy import Selector
a = "<div class='a'>123<p>1455555</p></div>"
con = Selector(text=a)
print(con)
print(con.xpath("//div/text()").extract())
print(con.xpath("//div/p/text()").extract())
print(con.xpath("//div//text()").extract())

# 输出结果:
<Selector xpath=None data='<html><body><div class="a">123<p>1455555'>
['123']
['1455555']
['123', '1455555']



# string(.)的用法
b = con.xpath("//div")
# 获取标签下面的所有的字符
print(b.xpath("string(.)"))  

# 输出结果：
[<Selector xpath='string(.)' data='1231455555'>]

当然还有其他的提取方式，比如说re，css， bs4, pyputer 等等等等，个人对xpath比较熟悉，所以一般情况下我会使用xpath，有的字段麻烦的，会对提取的结果用一个正则表达式来获取想要的文本。

requests请求的特殊几种获取方式处理

# requests默认使用application/x-www-form-urlencoded对POST数据编码。如果要传递JSON数据，可以直接传入json参数：
url = "https://123456.com"
params = {'key': 'value'}
r = requests.post(url, json=params)  # 内部自动序列化为JSON

# 要在请求中传入Cookie，只需准备一个dict传入cookies参数：
cs = {'token': '12345', 'status': 'working'}
r2 = requests.get(url, cookies=cs)