python中的网页解析，BeautifulSoup，是相比requests更高效的处理和解析HTML的库

最新推荐文章于 2024-06-08 11:12:05 发布

原创最新推荐文章于 2024-06-08 11:12:05 发布 · 1.1k 阅读

2 ·

CC 4.0 BY-SA版权

本文详细介绍了网页结构和HTML基础知识，讲解了如何使用BeautifulSoup进行网页解析，包括指定解析器和编码格式的方法，以及如何通过find_all方法查找特定节点。

在这里插入图片描述
1.了解网页的结构，HTML的组成。

2.BeautifulSoup的用法。

在这里插入图片描述
3.指定的解析器通常为“lxml”
encoding：指定编码格式。
如果不指定，通常认为和网页读进来的格式一致，不一致的话会出现乱码。

在这里插入图片描述
4.查找节点。
举例：bs.find_all(“a”,class_=“a_link”)的意思是：找到a这个标签，然后符合class_=a_link的这样一个节点（class在python中是关键字的意思，所以需要加_下划线变为class_）
或者干脆直接用字典的方式表示也是可以的。即
bs.find_all(“a”,{“class”:“a_link”})意思也是一样的。即是：
找到a这个标签，然后符合class=a_link的这样一个节点。