爬虫之盗亦有道beautifulsoup

最新推荐文章于 2025-12-25 14:57:52 发布

原创最新推荐文章于 2025-12-25 14:57:52 发布 · 133 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

爬虫专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了如何使用BeautifulSoup进行网页解析，包括安装方法、基本元素解析、标签树的遍历技巧等，适合初学者快速掌握。

beautifulsoup 安装
cmd控制窗口输出

pip install beautifulsoup4

测试时候安装成功

import requests
r=requests.get("https://www.baidu.com/")
r.text
demo=r.text
from bs4 import BeautifulSoup
soup=BeautifulSoup(demo,"html.parser")

html.parsers 是个解释器

解析器	使用方法	条件
bs4	BeautifulSoup(demo,“html.parser”)	安装bs
lxml	BeautifulSoup(demo,“lxml”)	安装lxml
xml解析器	BeautifulSoup(demo,“xml”)	安装lxml
html5lib	BeautifulSoup(demo,“html5lib”)	安装html5lib

基本元素

基本元素	说明
Tag	标签，最基本的信息组织单元，分别用<>和</>表明开头和结尾
Name	标签名字,< p >…< /p >的名字是‘p’,格式：< tag >.name
Attributes	标签属性，字典形式组织，格式：< tag >.string
NavigableString	标签内非属性字符串,<>…</>中字符串格式，格式：< tag >.string
Comment	标签内字符串的注释部分，一种特殊的comment类型

import requests
r=requests.get("https://www.baidu.com/")
r.text
demo=r.text
from bs4 import BeautifulSoup
soup=BeautifulSoup(demo,"html.parser")
soup.title
soup.a.name
soup.a.parent.name
tag=soup.a
tag.attrs
tag.attrs["class"]
tag.string

在这里插入图片描述
标签树的下行遍历

下行
.contents	子节点的列表，将< tag> 中所有子节点存入列表
.children	子节点的迭代类型与.contents类似，用于循环遍历子节点
.descendants	子孙节点的迭代类型，用于循环遍历
上行
.parent	父节点标签
.parents	先辈节点标签的迭代类型，用于循环遍历先辈节点
平行
.next_sibling	返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling	返回按照HTML文本顺序的上一个平行节点标签
.next_siblings	迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings	迭代类型,返回按照HTML文本顺序的前序所有平行节点标签

soup=BeatifulSoup(demo,"html.parser
soup.head
#<head><meta content="text/html;charset=utf-8" http-equiv="content-type"><meta content="IE=Edge" 
#http-equiv="X-UA-Compatible"><meta content="always" name="referrer"><link 
#href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" 
#rel="stylesheet" type="text/css"><title>ç™¾åº¦ä¸€ä¸‹ï¼Œä½ å°±çŸ¥é“</title></link></meta></meta>
#</meta></head>
soup.head.contents
#[<meta content="text/html;charset=utf-8" http-equiv="content-type"><meta content="IE=Edge" http-equiv="X-UA-Compatible"><meta content="always" name="referrer"><link href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css"><title>ç™¾åº¦ä¸€ä¸‹ï¼Œä½ å°±çŸ¥é“</title></link></meta></meta></meta>]
soup.body.contents

for child in soup.body.children:
	print(child)#遍历儿子节点
for child in soup.body.descendants:
	print(child)#遍历子孙节点
#遍历上行所有标签
for parent in soup.head.parents:
	if parent is None:
		print(parent)
	else:
		print(parent.name)