Python爬虫（五）——Beautiful Soup库

Python爬虫（五）——Beautiful Soup库

安装步骤

1. 打开命令提示符
2. 输入

pip install beautifulsoup4

测试

测试界面：

http://python123.io/ws/demo.html

• 首先查看网页源代码（打开页面CTRL+U）
• 然后打开IDLE，输入以下代码：

import requests
r = requests.get("http://python123.io/ws/demo.html")
r.text
demo = r.text
from bs4 import BeautifulSoup #Beautiful Soup库的缩写为bs4
soup = BeautifulSoup(demo , "html.parser")#这里需要一个解释器使用的是html的解释器
print(soup.prettify()) #如果出现之前看到的网页源代码即为安装成功

使用方法总结：

from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>data</p>','html.parser') #第一个参数是我们需要解析的HTML代码
soup2 = BeautifulSoup(open("D://demo.html"),'html.parser')

理解

Beautiful Soup库是解析、遍历、维护“标签树”的功能库。

解析器

• bs4的HTML解析器:html.parser 需要安装bs4库
• lxml的HTML解析器:lxml 需要安装lxml

pip install lxml

• lxml的HTML解析器:xml 需要安装lxml
• html5lib的解析器:html5lib 需要安装html5lib

pip install html5lib

基本元素

• Tag 标签，最基本的信息组织单元，分别用<>和</>标明开头和结尾。用.的方式获得
• Name 标签的名字，格式：.name
• Attributes 标签的属性，字典形式组织，格式：.attrs
• NavigableString 标签内非属性字符，格式：.string
• Comment 标签内字符串的注释部分，一种特殊的Comment类型

可以用前面的demo来展示，在IDLE中输入：

soup.title
soup.a
tag = soup.a
tag.name
tag.attrs
tag.string

基于bs4库的HTML内容遍历方法

这里使用前面的demo。

下行遍历

从标签树由根节点到叶子节点。

三个属性

• .contents 子节点的列表，将所有儿子节点存入列表
• .children 子节点的迭代类型，与.contents类似，用于循环遍历儿子节点
• .descendants 子孙节点的迭代类型，包含所有子孙节点，用于循环遍历

实例

使用前面的demo演示：

soup.head
soup.head.contents
soup.body.contents
len(soup.body.contents)
soup.body.contents[0]
for child in soup.body.children:
    print(child) #遍历儿子节点
for child in soup.body.contents:
    print(child) #遍历子孙节点

上行遍历

从标签树由叶子节点到根节点。

两个属性

• .parent 节点的父亲标签
• .parents 节点的先辈标签的迭代类型，用于循环遍历先辈节点

实例

soup.title.parent
soup.html.parent #html是文本最高标签，所以是自己
for parent in soup.a.parents:
    if parent is None: #如果先辈是None，就不再打印
        print(parent)
    else: 
        print(parent.name)

平行遍历

在同一个父节点下的平级节点之间平行遍历，但是要注意到平行标签的下一个有可能为navigableString类型。

四个属性

• next_sibling 返回按照HTML文本顺序的下一个平行节点的标签
• previous_sibling 返回按照HTML文本顺序的上一个平行节点标签
• next_siblings 迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
• previous_siblings 迭代类型，返回按照HTML文本顺序的前续所有平行节点标签

实例

soup.a.next_sibling
soup.a.next_sibling.next_sibling
soup.a.previous_sibling
for sibling in soup.a.next_siblings:
    print(sibling) #遍历后续节点
for sibling in soup.a.previous_siblings:
    print(sibling) #遍历前续节点

基于bs4库的HTML格式输出

为了方便程序的读取，这里可以使用prettify方法：

#使用前面的demo
print(soup.prettify())