走进bs4

最新推荐文章于 2023-09-27 17:41:19 发布

原创最新推荐文章于 2023-09-27 17:41:19 发布 · 250 阅读

CC 4.0 BY-SA版权

一. bs4模块的简介

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为tiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编一下原始编码方式就可以了。
人工智能行业的发展是以大数据为基础的，在人工智能行业当中，数据比模型本身要重要的多。从一定程度上来讲大量优质的数据可以弥补模型的缺点。而大数据所所涉及的范畴会非常的广泛，有很多在垂直行业深耕很多年的企业会积累很多的行业数据。但这种企业毕竟是少数，很多情况下我们需要自己开发爬虫从互联网上抓取数据，而爬虫程序一个非常重要的环节就是对互联网上的网页进行分析，由于网页上的资料和形式千差万别，能够从这些文档中获取自己的数据就变得尤为重要。bs4是python库主要用于对标记语言进行分析。而在爬虫程序中使用最多的场景是分析网页文档，也就是html文档。本文重要讲解bs4的基本用法。

二.bs4的四种对象

在bs4解析html的应用中，文档会被解析成一个属性结构，这种解析方式与浏览器的dom树结构相似。在这个树中，每一个元素都以对象的形式存在，这些对象不论如何嵌套应用，都可以被归纳成4种：Tag、NavigableString、BeautifulSoup、Comment。

2-1. BeautifulSoup对象：
BeautifulSoup对象表示一个文档的所有内容,大部分时候,我们可以将它当作一个Tag,我们可以获得它的类型，名称，属性让我们感受一下。

print type(soup.name)
#<type 'unicode'>
print soup.name
# [document]
print soup.attrs
#{} 空字典

2-2. Tag对象：
Tag就是html中的一个标签，比如：

<title>The Dormouse's story</title>


&lt;aclass="sister" href="http://example.com/elsie" id="link1"&gt;Elsie&lt;/a&gt;

上面的title 、a 等等HTML 标签加上里面包括的内容就是Tag，用BeautifulSoup就能解析出来Tag的具体内容，具体的格式为soup.name,其中name是html下的标签。

例如：用Beautiful Soup 来获取Tags：

print soup.title


print soup.head


print soup.a


print soup.p


print type(soup.a)


print soup.name


print soup.head.name

soup = BeautifulSoup(html, 'html.parser')
# print(soup.prettify())

# 1. 根据标签获取内容;


# ******************标签的常用属性************************
# # 根据格式化， 如果title只有一个， 根据标签可以获取
# print(soup.title)
# print(type(soup.title))
# print(soup.title.name)  # 标签的名称

# 获取标签里面的属性信息
print(soup.a.attrs)
print(soup.a.attrs['href'])



# # *******************标签常用的方法*************************
# #get方法用于得到标签下的属性值，注意这是一个重要的方法，在许多场合都能用到，比如你要得到<img src=”#”>标签下的图像url,那么就可以用soup.img.get(‘src’)
# print(soup.a.get('href'))
# print(soup.a.get('class'))
#
#
#
# # string得到标签下的文本内容，只有在此标签下没有子标签，或者只有一个子标签的情况下才能返回其中的内容，否则返回的是None;
# # get_text()可以获得一个标签中的所有文本内容，包括子孙节点的内容，这是最常用的方法
# print(soup.a.string)    # 标签里面的内容
# print(soup.a.get_text())
#
# # *******************对获取的属性信息进行修改***********************
# print(soup.a.get('href'))
# soup.a['href'] = 'http://www.baidu.com'
# print(soup.a.get('href'))
# print(soup.a)
#
#
#
#
# # 2. 面向对象的匹配
#
# # 查找符合条件的所有标签;
# aTagObj =  soup.find_all('a')
# print(aTagObj)
# for item in aTagObj:
#     print(item)
#

#  需求: 获取所有的a标签， 并且类名为"sister"
# aTagObj = soup.find_all('a', class_="sister")
# print(aTagObj)

# 3. 根据内容进行匹配
print(soup.find_all(text="story"))
print(soup.find_all(text=re.compile('story\d+')))

2-3.NavigableString对象
如果已经得到了标签的内容，要想获取标签内部的文字怎么办?
例如：可以用.string 获取内部文字

print soup.p.string

这样就轻松获取到了标签里面的内容，如果用正则表达式，要复杂很多。它的类型是一个NavigableString，其意思是可以遍历的字符串。

print type(soup.p.string)

2-4.Comment对象
Comment对象是一特殊类型NavigableString对象，输出的内容仍不包括注释符号。如果它处理不好，可能会对文本处理造成意想不到的麻烦。

例如：找一个带注释的标签

print soup.a


print soup.a.string


print type(soup.a.string)

三.安装bs4模块

可以使用下面命令在linux系统中安装beautiful soup库：

pip install beautifulsoup4

import re

from bs4 import BeautifulSoup
html = """
<html>
<head><title>story12345</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><span>westos</span><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister1" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
soup = BeautifulSoup(html, 'html.parser')
# print(soup.prettify())

import re

from bs4 import BeautifulSoup


html = """
<html>
<head><title class='title'>story12345</title></head>
<body>
<p class="title" name="dromouse">The Dormouse's story</p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><span>westos</span><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister1" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>

<input type="text">
<input type="password">
"""

#
soup = BeautifulSoup(html, 'html.parser')
# 需要安装第三方模块lxml；
# soup = BeautifulSoup(html, 'lxml')

# 1. 返回符合条件的第一个标签内容
print(soup.title)
print(soup.p)
print(soup.find('p', class_=re.compile(r'^ti.*?')))


# 2. 返回符合条件的所有标签内容
print(soup.find_all('p'))
print(soup.find_all('p', class_='title', text=re.compile(r'.*?story.*?')))



# 3. 获取符合条件的p标签或者a标签
print(soup.find(['title', 'a']))
print(soup.find_all(['title', 'a']))
print(soup.find_all(['title', 'a'], class_=['title', 'sister']))


# 4. CSS匹配
# 标签选择器
print(soup.select("title"))
# 类选择器(.类名)
print(soup.select(".sister"))
# id选择器(#id名称)
print(soup.select("#link1"))
# 此处不支持正则表达式;
# print(soup.select(re.compile("#link\d+")))
# 属性选择器()
print(soup.select("input[type='password']"))

四.bs4模块的解析器

官方中文文档: https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/

下表列出了主要的解析器,以及它们的优缺点:

解析器:使用方法:优势:劣势
Python标准库
BeautifulSoup(markup, “html.parser”)
Python的内置标准库
执行速度适中
文档容错能力强
Python 2.7.3 or 3.2.2)前的版本中文档容错能力差

lxml
HTML 解析器 BeautifulSoup(markup, “lxml”)
速度快
文档容错能力强
需要安装C语言库
lxml
XML 解析器
BeautifulSoup(markup, [“lxml-xml”])
BeautifulSoup(markup, “xml”)
速度快
唯一支持XML的解析器
需要安装C语言库

html5lib
BeautifulSoup(markup, “html5lib”)
最好的容错性
以浏览器的方式解析文档
生成HTML5格式的文档
速度慢
不依赖外部扩展

在这里插入图片描述