BeautifulSoup学习笔记

本文介绍BeautifulSoup库中关键方法的功能及使用方式,如.prettify()用于格式化HTML代码,.get_text()提取纯文本内容等。此外还详细解析了find_all方法的参数及其用法,帮助读者更好地进行网页解析。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

.prettify() 将html代码格式化
.get_text() 获得所有文字内容
.contens 返回所有子节点
.children 返回子节点生成器
.descendants 返回所有子孙节点的生成器
.strings 返回包含的多个字符串的生成器
.stripped_strings 返回包含的多个字符串(去除多余空白)的生成器
.parent 获取某个元素的父节点
.parents 递归得到元素的所有父辈节点
.next_sibling 和 .previous_sibling 属性来查询兄弟节点
.next_siblings 和 .previous_siblings 属性可以对当前节点的兄弟节点迭代输出
.next_element|.previous_element 属性指向解析过程中下(上)一个被解析的对象(字符串或tag)
.next_elements 和 .previous_elements 的迭代器就可以向前或向后访问文档的解析内容


find_all方法解析:
find_all( name , attrs , recursive , text , **kwargs )
允许使用的过滤器有:字符串,方法,正则表达式,列表,True


name -- tag的名称
attrs -- 关键字比如id等,对于不能使用的属性,可以构造字典
#data_soup.find_all(attrs={"data-foo": "value"})
class_ -- 对应class名称
#css_soup.find_all("p", class_="body strikeout")
text  -- 对应字符串内容
#soup.find_all("a", text="Elsie")
limit  -- 设置搜索的数量
recursive --设置是否只搜索直接子节点

BeautifulSoup是一个Python库,用于从HTML或XML文件中提取数据。它提供了一种简单而灵活的方式来解析和遍历标记文档,并提供了许多有用的方法和属性来获取所需的信息。 在BeautifulSoup库的学习笔记中,介绍了BeautifulSoup库的简介和安装方法。它可以通过pip进行安装,并且有多种解析器可供选择。BeautifulSoup类有五种基本元素,包括Tag标签、Name名字、Attributes属性、NavigableString非属性字符串和Comment注释。它们可以用于遍历标签树的下行、上行和平行遍历。此外,BeautifulSoup几乎覆盖了HTML和XML中的所有内容,还包括一些特殊对象,例如文档的注释部分。 需要注意的是,BeautifulSoup对象本身不是真正的HTML或XML的tag,因此它没有name和attribute属性。但是,在某些情况下,查看它的.name属性是很方便的,因此BeautifulSoup对象包含了一个特殊属性.name,其值为"[document]"。另外,还有一些特殊对象,例如注释对象,可以通过使用BeautifulSoup库来处理。 综上所述,BeautifulSoup库提供了强大的解析和提取HTML或XML中数据的功能,适用于各种爬虫和数据提取任务。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [BeautifulSoup学习笔记一](https://blog.youkuaiyun.com/weixin_43978546/article/details/104858873)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [BeautifulSoup 学习笔记](https://blog.youkuaiyun.com/zhengjian0617/article/details/81142540)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值