BeautifulSoup库入门

最新推荐文章于 2022-12-13 16:19:15 发布

原创最新推荐文章于 2022-12-13 16:19:15 发布 · 300 阅读

0 ·

CC 4.0 BY-SA版权

Python 同时被 2 个专栏收录

22 篇文章

订阅专栏

爬虫

2 篇文章

订阅专栏

本文介绍了BeautifulSoup库的基础使用，包括通过两行代码解决基本问题，详细讲解了Tag标签、Tag的name、attrs属性、NavigableString以及Comment的用法。

一、初识BeautifulSoup库（笔记）

import requests
r=requests.get('http://python123.io/ws/demo.html')
r.text
demo=r.text
from bs4 import BeautifulSoup
soup= BeautifulSoup(demo,'html.parser')
print(soup.prettify())

使用BeautifulSoup库一般只需要这两行代码就可以搞定基本问题：

from bs4 import BeautifilSoup
soup = BeautifulSoup('<p>data</p>','html.parser')

	作用
<p>data</p>	需要被解析的HTML信息
html.parser	解析HTML文本的解析器

二、BeautiSoup库的基本元素

解析器	使用方法	条件
bs4的HTML解析器	BeautifulSoup(mk,'html.parser')	安装bs4库
lxml的HTML解析器	BeautifulSoup(mk,'lxml')	pip install lxml
lxml的XML解析器	BeautifulSoup(mk,'xml')	pip install lxml
html5lib的解析器	BeautifulSoup(mk,'html5lib')	pip install html5lib

BeautiSoup库的基本元素

基本元素	说明
Tag	标签，最基本的信息组织单元，分别用<>和</>标明开头和结尾
Name	标签的名字，<p>…</p>的名字是'p'，格式：<tag>.name
Attributes	标签的属性，字典形式组织，格式：<tag>.attrs
NavigableString	标签内非属性字符串，<>…</>中字符串，格式：<tag>.string
Comment	标签内字符串的注释部分，一种特殊的Comment类型

1、Tag 标签

基本元素	说明
Tag	标签，最基本的信息组织单元，分别用<>和</>标明开头和结尾

from bs4 import BeautifulSoup
soup = BeautifulSoup(demo,'html.parser')
print(soup.title)#打印titel标题的内容
tag = soup.a   #获取第一个链接标签的内容
print(tag)

任何存在于HTML语法中的标签都可以用soup.<tag>访问获得
当HTML文档中存在多个相同<tag>对应内容时，soup.<tag>返回第一个

2、Tag的name（名字）

基本元素	说明
Name	标签的名字，<p>…</p>的名字是'p'，格式：<tag>.name

from bs4 import BeatifulSoup
soup = BeautifulSoup(demo,'html.parser')
print(soup.a.name)#>>>'a'
print(soup.a.parent.name)
print(soup.a.parent.parent.name)#不等同于print(soup.p.parent.name) ！！！

每个<tag>都有自己的名字，通过<tag>.name获取，字符串类型

soup.a.parent.parent.name不等同于soup.p.parent.name！！！

3、Tag的attrs（属性）

基本元素	说明
Attributes	标签的属性，字典形式组织，格式：<tag>.attrs

tag=soup.a
print(tag.attrs)#以字典的形式打印
tag.attrs['class']  #获取对应的属性值
tag.attrs['href']
type(tag.attrs)
type(tag)

一个<tag>可以有0或多个属性，字典类型

4、Tag的NavigableString

基本元素	说明
NavigableString	标签内非属性字符串，<>…</>中字符串，格式：<tag>.string

soup.a
soup.a.string
soup.p
soup.p.string
type(soup.p.string)

NavigableString可以跨越多个层次

5、Tag的Comment （注释的意思）

基本元素	说明
Comment	标签内字符串的注释部分，一种特殊的Comment类型

newsoup =BeautifulSoup('<b><!--This is a comment--></b><p>This is a comment</p>','html.parser')
newsoup.b.string
type(newsoup.b.string)#b标签中是注释内容，打印的时候只打印注释的文字部分
newsoup.p.string
type(newsoup.b.string)