1:beautifulsoup模块作用是为了完成爬虫工作中的解析数据和提取数据
2:我们平时用浏览器上网,浏览器会把服务器返回的html源代码翻译为我们能看动的样子,之后我们才能在网页上做各种操作,爬虫工作也是一样,要使用能读懂html的工具,才能提取想要的数据
3:beautifulsoup如何解析数据:
这里面的解析器,python由一个内置的库:html.parser(他不是唯一的解析器)
解析代码结构为:
在第6行代码中,第一个参数必须是字符串,到这里,我们就完成了数据解析,且把解析到的数据转换成了一个beautifulsoup的对象,那么接下来我们就可以调用他的属性来提取我们需要的数据
4:提取数据
先来看find()和find_all()
这里要注意的是,当用属性class取数据的时候,代码要写成class_,这是为了与python中class类区分,另外,括号中的标签和属性,可以单独使用,也可以一起使用
find_all()取到的数据,是class ‘bs4.element.ResultSet’,也就是说他是bs4库里Resultset类的对象,他的数据类型相当于一个列表,但是不是一个列表,可以用for循环遍历他
当我们子啊网页源代码中产看标