python爬虫去除html中特定标签、去除注释、替换实体

最新推荐文章于 2024-05-31 21:24:28 发布

菠萝盖饭

最新推荐文章于 2024-05-31 21:24:28 发布

阅读量2.1w

点赞数 18

CC 4.0 BY-SA版权

文章标签： python html 去除标签数据清洗爬虫

本文链接：https://blog.youkuaiyun.com/qq_41849471/article/details/89527706

本文介绍W3Lib库中四个关键函数：remove_tags, remove_tags_with_content, remove_comments 和 remove_entities，详细解析如何使用这些函数处理HTML源码，包括去除特定标签、注释和替换实体，提升爬虫数据清洗效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python爬虫去除html中特定标签、去除注释、替换实体

前言：本文主要讲w3lib库的四个函数

html.remove_tags()
html.remove_tags_with_content()
html.remove_comments()
html.remove_entities()

文章目录

python爬虫去除html中特定标签、去除注释、替换实体

remove_tags

作用：去除或保留标签，但是仅仅是去除标签，正文部分是不做处理的

在这里插入图片描述

看其函数具有四个变量，

第一个是文本，即你需要传入的网页源码，必须是字符串

第二个是你要去除掉的标签，需要传入的参数类型是元组，原理是根据正则匹配去除的

第三个是你要保留的标签，需要传入的参数类型依旧是元组

第四个是编码

看备注我们可以得知，第二第三个参数总共有四种状态

`which_ones`	`keep`	what it does
非空	空	去除掉所有 `which_ones`里面的标签
空	非空	只保留`keep`里的标签
空	空	去除所有的标签
非空	非空	不允许的情况

代码示例：
以下的代码以example.com的部分源码进行测试

<body>
<div>
    <h1>Example Domain</h1>
    <p>This domain is established to be used for illustrative examples in documents. You may use this
    domain in examples without prior coordination or asking for permission.</p>
    <p><a href="http://www.iana.org/domains/example">More information...</a></p>
</div>
</body>

from w3lib import html
import requests
from lxml import etree

res = requests.get("http://www.example.com/")
response = etree.HTML(res.content)
temp = response.xpath('//body') # 返回值为一个列表
doc = etree.tostring(temp[0])   # 将定位到的元素转成str，即获得源码

# 以上代码只是为了获取body的源码，与函数演示无关

result = html.remove_tags(doc) # 标签全部去除
print(result)

只留下正文部分

在这里插入图片描述

result = html.remove_tags(doc,which_ones = ('body','h1','div'))

p标签与a标签还留着

在这里插入图片描述

remove_tags_with_content

作用：去除标签，包括其正文部分

在这里插入图片描述

参数变成了三个，与上面的用法一致，只是少了一个keep参数，无法保留，只能去除

remove_comments

作用：去除掉网页的注释

参数只有两个，一个是text（网页源码），str类型，一个是编码（encoding）

from w3lib.html import remove_comments
remove_comments(b"test <!--textcoment--> whatever")

结果即test whatever

remove_entities

作用：将网页中的一些特殊字符的源码显示改变成正常显示（个人理解）

官方解释是通过将实体转换为相应的unicode字符，从给定的text中删除实体。

在函数源码中已声明，该函数即将被剔除，将被replace_entities取代

在这里插入图片描述

函数具有三个参数，第一个是源码（字符串），第二个是你需要保留不变的实体（元组），第三个是是否删除无法转换的实体（true删除，false不删除），第四个是编码，默认utf-8

from w3lib.html import replace_entities
print(replace_entities(b'Price: &pound;100'))

以下为结果

Price: £100

该模块还是挺有意思的，还有几个常用的函数等我有空了会再次补充的~

对您有帮助的话记得点个赞哦~