### Python 爬虫清理
HTML 标签方法
####
使用 `scrapy` 的内置函数
Scrapy 提供了实用的标记移除工具，可以方便地清除不需要的
HTML标签。具体来说，可以从 `scrapy.utils.markup` 导入两个主要函数：
- `remove_
tags`: 移除所有的
HTML/XML标签并保留其内部文本。
- `remove_
tags_with_content`: 不仅会删除指定类型的标签本身还会连同它们的内容一起被去掉。
这使得开发者能够灵活控制哪些部分应该保留在最终的结果里[^1]。
```python
from scrapy.utils.markup import remove_
tags, remove_
tags_with_content
html_fragment = "<div><p>Hello world!</p></div>"
clean_text = remove_
tags(
html_fragment)
print(clean_text)
# 如果想要移除某些特定标签及其内容，则可如下操作：
specific_
tag_removal = remove_
tags_with_content(
html_fragment, which_ones=('script', 'style'))
print(specific_
tag_removal)
```
#### 利用第三方库 `python-readability`
另一个强大的选项是采用专门设计用于网页内容提取的库——`python-readability`。这个库基于Arc90实验室开发的一个算法实现了一个简洁易用API接口，它能自动识别页面主要内容区域并将其他干扰性的广告、导航栏等内容过滤掉[^2]。
```python
import readability
from bs4 import BeautifulSoup
raw_
html = '<
html>...</
html>' # 假设这是从网络上获取到的一段完整的
HTML字符串
document = Document(raw_
html).summary()
soup = BeautifulSoup(document, "
lxml")
text_only = soup.get_text(separator="\n", strip=True)
print(text_only)
```
#### 结合 `
lxml` 进行更精细的操作
当面对复杂的
HTML结构时，`
lxml` 是一个非常有效的解决方案。该库允许精确选择节点并通过XPath表达式定位目标元素，从而实现更加细致化的清洗工作。此外，还可以利用正则表达式匹配模式进一步增强处理能力[^3]。
```python
from
lxml.
html import fromstring
import re
def clean_
html(
html_string):
tree = fromstring(
html_string)
# 删除脚本和样式表
for elem in tree.xpath("//script|//style"):
elem.drop_tree()
# 替换特殊字符实体为对应的Unicode字符
cleaned_text = re.sub(r'&(#?)(\w+);', lambda m: chr(int(m.group(2))) if m.group(1)=='#' else '',
html.tostring(tree, encoding='unicode'))
return cleaned_text.strip()
example_
html = """
<
html>
<head><title>Title</title></head>
<body>
<p>This is a paragraph.</p>
<script type="text/javascript">alert('Hello');</script>
<style>.hidden { display:none; }</style>
</body>
</
html>
"""
result = clean_
html(example_
html)
print(result)
```
扫一扫
1262
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
