欢迎大家关注公众号【哈希大数据】
【小白学爬虫连载（5）】--Beautiful Soup库详解
【小白学爬虫连载（10）】--如何用Python实现模拟登陆网站
Beautiful Soup是解析、遍历、维护HTML或XML文件的Python功能库，它能帮助我们快速获取到文件中的数据信息。
对于Windows平台：首先介绍一种简单的安装包的方法，打开cmd,执行pip installbeautifulsoup4，这里千万不要忘记最后的数字4。如果第一种方法出现如timeout等问题，我们还可以采用手动方法安装，步骤如下：
登陆该网站（https://www.lfd.uci.edu/~gohlke/pythonlibs/）下载你所需要的第三包的whl文件（用Ctrl+F命令搜索你想安装的第三方包），建议存储在Python安装目录中的\Lib\site-packages目录下。
下载完成后打开命令行，输入pip install 文件绝对路径 ，然后点击回车就OK啦。
完成Beautiful Soup库的安装后，非常建议大家在安装一个第三方解析库lxml，安装方法与上文一样。
下面对BeautifulSoup进行简单的测试：
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'lxml')
print(soup.prettify())
print(soup.title.string)HTML是由一系列有着层级关系的各式各样的标签构成的，我们所要提取的信息都位于对应的标签中。下面对标签进行一个简单的介绍，如测试给出的html_doc中第一个a标签：<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>
这个a标签中共有三个属性href、class、id，多是以键值对的形式存在，这些属性后面我们会经常用到，内容和某些属性便是我们要提取的信息。如果对HTML缺乏了解请到W3Cschool补充相应知识。
BeautifulSoup提供了三种方式来定位标签，方便我们提取标签内容。
标签选择器
标准选择器
利用CSS选择器定位标签
标签选择器
BeautifulSoup提供了以下方法来定位标签，获取标签属性，以及获取标签内容：
方法 | 说明 |
<tag>.标签名称 | 获取tag中以该名称命名的第一个标签，由于得到的是Tag类型的变量，所以依然可以使用该方法进行嵌套选择 |
<tag>.attrs | 获取tag中的所有属性，返回的是字典，要想获得某属性的值可以用<tag>[属性名称]得到 |
<tag>.string | 获取tag中的内容 |
<tag>.name | 获取tag的名字 |
BeautifulSoup除了提供获取单个节点的方法，还提供了获取多节点的方法，利用下图中提到的方法可以实现获取当前节点的子节点、子孙节点、父节点、祖先节点以及兄弟节点。
图片来自嵩天老师的网络爬虫教程
下行遍历、上行遍历、平行遍历各属性属性汇总如下表所示：
属性 | 说明 |
.contents | 得到子节点的列表，将当前标签的所有儿子节点存入列表 |
.children | 子节点的迭代类型，与.contents类似 |
.descendants | 子孙节点的迭代类型，包含所有子孙节点，子节点内包含的子节点为孙子节点 |
.parent | 节点的父亲标签 |
.parents | 节点先辈标签的迭代类型，用于循环遍历先辈节点 |
.next_sibling | 返回按照HTML文本顺序的下一个平行节点标签 |
.previous_sibling | 返回按照HTML文本顺序的上一个平行节点标签 |
.next_siblings | 迭代类型，返回按照HTML文本顺序的后续所有平行节点标签 |
.previous_siblings | 迭代类型，返回按照HTML文本顺序的前续所有平行节点标签 |
由于在实际应用中基本不会用该种方法所以这里不再一一举例。
标准选择器这里主要介绍find_all和find方法：
find_all(name,attrs,recursive,text,**kwargs)
可根据标签名、属性、内容定位标签获取数据
样例：
name 参数可以查找所有名字为 name 的tag,字符串对象会被自动忽略掉.
soup.find_all("title")
# [<title>The Dormouse's story</title>]
soup.find_all("a")
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]按参数列表依次赋值name、attrs
soup.find_all("p", "title")
# [<p class="title"><b>The Dormouse's story</b></p>]
如果一个指定名字的参数不是搜索内置的参数名,搜索时会把该参数当作指定名字tag的属性来搜索,如果包含一个名字为 id 的参数,Beautiful Soup会搜索每个tag的”id”属性.
soup.find_all(id="link2")
# [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
通过 find_all() 方法的 attrs 参数定义一个字典参数来搜索包含特殊属性的tag:
data_soup.find_all(attrs={"data-foo": "value"})
# [<div data-foo="value">foo!</div>]
find函数与find_all函数使用方法一直，不同之处在于find函数只返回匹配搜索结果的第一个标签。
利用CSS选择器定位标签Beautiful Soup支持大部分的CSS选择器 ,在 .select() 方法中传入字符串参数,即可使用CSS选择器的语法找到tag，关于CSS选择器的知识可参考：http://www.w3school.com.cn/css/css_selector_type.asp
样例：
通过tag标签逐层查找:
soup.select("body a")
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
soup.select("html head title")
# [<title>The Dormouse's story</title>]
找到某个tag标签下的直接子标签 :
soup.select("head > title")
# [<title>The Dormouse's story</title>]
soup.select("p > a")
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
soup.select("p > a:nth-of-type(2)")
# [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
soup.select("p > #link1")
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]
找到兄弟节点标签:
soup.select("#link1 ~ .sister")
# [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
soup.select("#link1 + .sister")
# [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
通过CSS的类名查找:
soup.select(".sister")
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
soup.select("[class~=sister]")
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
通过tag的id查找:
soup.select("#link1")
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]
soup.select("a#link2")
# [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]本文介绍了BeautifulSoup的安装方法，同时推荐使用lxml解析库，后面对标签的结构进行了简单的介绍，后面详细介绍了BeautifulSoup库提供的三种定位标签，方便我们提取标签内容的方式，分别为：标签选择器、标准选择器、利用CSS选择器定位标签。建议使用标准选择器，使用find_all或者find方法，对于CSS选择器比较熟悉的建议使用select方法。
扫一扫
56万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
