爬虫_beautifulsoup

kcalm

于 2017-12-06 12:44:50 发布

阅读量238

点赞数

分类专栏： Python 文章标签：爬虫标签

本文链接：https://blog.youkuaiyun.com/qq_40298233/article/details/78729434

版权

Python 专栏收录该内容

11 篇文章

订阅专栏

本文介绍如何使用BeautifulSoup库中的.get_text()方法及stripped_strings方法从HTML文档中提取纯净的文本内容。.get_text()方法可以获取文档或标签的所有文本，并可通过参数调整连接符和是否去除空白。stripped_strings则用于生成过滤掉空格和空行的文本内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 .stripped_strings 方法可以得到过滤掉空格和空行的内容
2 .get_text（)
如果你仅仅想要得到文档或者标签的文本部分，可以使用.get_text（)方法，它能以一个单一的一个Unicode串的形式返回文档中或者Tag对象下的所有文本。

markup = '<a href="http://example.com/">\nI linked to <i>example.com</i>\n</a>'
soup = BeautifulSoup(markup)

soup.get_text()
#u'\nI linked to example.com\n'
soup.i.get_text()
#u'example.com'

你可以指定一个字符串来连接文本的位。

1 soup.get_text("|")
2 #u'\nI linked to |example.com|\n'

进一步，通过strip去除掉文本每个位的头尾空白。

1 soup.get_text("|", strip=True)
2 #u'I linked to|example.com'

用列表推导式以及.stripped_strings方法罗列出文本内容。

1 [text for text in soup.stripped_strings]
2 #[u'I linked to', u'example.com']