【小白学爬虫连载（5）】--Beautiful Soup库详解

登陆该网站（https://www.lfd.uci.edu/~gohlke/pythonlibs/）下载你所需要的第三包的whl文件（用Ctrl+F命令搜索你想安装的第三方包），建议存储在Python安装目录中的\Lib\site-packages目录下。
下载完成后打开命令行，输入pip install 文件绝对路径，然后点击回车就OK啦。

完成Beautiful Soup库的安装后，非常建议大家在安装一个第三方解析库lxml，安装方法与上文一样。

下面对BeautifulSoup进行简单的测试：

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'lxml')
print(soup.prettify())
print(soup.title.string)

基础知识介绍

HTML是由一系列有着层级关系的各式各样的标签构成的，我们所要提取的信息都位于对应的标签中。下面对标签进行一个简单的介绍，如测试给出的html_doc中第一个a标签：<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>

这个a标签中共有三个属性href、class、id，多是以键值对的形式存在，这些属性后面我们会经常用到，内容和某些属性便是我们要提取的信息。如果对HTML缺乏了解请到W3Cschool补充相应知识。

BeautifulSoup提供了三种方式来定位标签，方便我们提取标签内容。

标签选择器
标准选择器
利用CSS选择器定位标签

标签选择器

BeautifulSoup提供了以下方法来定位标签，获取标签属性，以及获取标签内容：

方法	说明
<tag>.标签名称	获取tag中以该名称命名的第一个标签，由于得到的是Tag类型的变量，所以依然可以使用该方法进行嵌套选择
<tag>.attrs	获取tag中的所有属性，返回的是字典，要想获得某属性的值可以用<tag>[属性名称]得到
<tag>.string	获取tag中的内容
<tag>.name	获取tag的名字

BeautifulSoup除了提供获取单个节点的方法，还提供了获取多节点的方法，利用下图中提到的方法可以实现获取当前节点的子节点、子孙节点、父节点、祖先节点以及兄弟节点。

图片来自嵩天老师的网络爬虫教程

下行遍历、上行遍历、平行遍历各属性属性汇总如下表所示：

属性	说明
.contents	得到子节点的列表，将当前标签的所有儿子节点存入列表
.children	子节点的迭代类型，与.contents类似
.descendants	子孙节点的迭代类型，包含所有子孙节点，子节点内包含的子节点为孙子节点
.parent	节点的父亲标签
.parents	节点先辈标签的迭代类型，用于循环遍历先辈节点
.next_sibling	返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling	返回按照HTML文本顺序的上一个平行节点标签
.next_siblings	迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings	迭代类型，返回按照HTML文本顺序的前续所有平行节点标签

由于在实际应用中基本不会用该种方法所以这里不再一一举例。

标准选择器

这里主要介绍find_all和find方法：

find_all(name,attrs,recursive,text,**kwargs)

可根据标签名、属性、内容定位标签获取数据

样例：

name 参数可以查找所有名字为 name 的tag,字符串对象会被自动忽略掉.

soup.find_all("title")
# [<title>The Dormouse's story</title>]
soup.find_all("a")
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

按参数列表依次赋值name、attrs

soup.find_all("p", "title")
# [<p class="title"><b>The Dormouse's story</b></p>]

如果一个指定名字的参数不是搜索内置的参数名,搜索时会把该参数当作指定名字tag的属性来搜索,如果包含一个名字为 id 的参数,Beautiful Soup会搜索每个tag的”id”属性.

soup.find_all(id="link2")
# [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

通过 find_all() 方法的 attrs 参数定义一个字典参数来搜索包含特殊属性的tag:

data_soup.find_all(attrs={"data-foo": "value"})
# [<div data-foo="value">foo!</div>]

find函数与find_all函数使用方法一直，不同之处在于find函数只返回匹配搜索结果的第一个标签。

利用CSS选择器定位标签

Beautiful Soup支持大部分的CSS选择器 ,在 .select() 方法中传入字符串参数,即可使用CSS选择器的语法找到tag，关于CSS选择器的知识可参考：http://www.w3school.com.cn/css/css_selector_type.asp

样例：

通过tag标签逐层查找:

soup.select("body a")
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
soup.select("html head title")
# [<title>The Dormouse's story</title>]

找到某个tag标签下的直接子标签 :

soup.select("head > title")
# [<title>The Dormouse's story</title>]
soup.select("p > a")
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
soup.select("p > a:nth-of-type(2)")
# [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
soup.select("p > #link1")
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]

找到兄弟节点标签:

soup.select("#link1 ~ .sister")
# [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
soup.select("#link1 + .sister")
# [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

通过CSS的类名查找:

soup.select(".sister")
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
soup.select("[class~=sister]")
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

通过tag的id查找:

soup.select("#link1")
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]
soup.select("a#link2")
# [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

小结

本文介绍了BeautifulSoup的安装方法，同时推荐使用lxml解析库，后面对标签的结构进行了简单的介绍，后面详细介绍了BeautifulSoup库提供的三种定位标签，方便我们提取标签内容的方式，分别为：标签选择器、标准选择器、利用CSS选择器定位标签。建议使用标准选择器，使用find_all或者find方法，对于CSS选择器比较熟悉的建议使用select方法。