小白学爬虫笔记4---beautifulsoup库

paleyellow

于 2018-07-16 12:34:07 发布

阅读量252

点赞数

分类专栏：笔记 python

笔记同时被 2 个专栏收录

24 篇文章

订阅专栏

python

17 篇文章

订阅专栏

本文介绍如何使用BeautifulSoup库进行网页爬取与HTML解析。通过安装及实例演示，展示如何获取网页内容并进行树形解析，同时介绍了prettify()方法美化HTML结构。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Beautiful Soup（美味汤）库

可以进行任何格式的爬取并进行树形解析

安装

pip3 install beautifulsoup4

演示地址

python123.io/ws/demo.html

语法

from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>data</p>','html.parser')

例子

import requests
r = requests.get('http://python123.io/ws/demo.html)
demo = r.text
from bs4 import BeautifulSoup
soup = BeautifulSoup(demo,'html.parser')
print (soup.prettify())

HTML的显示-prettify()

bs4库的编码为utf-8

prettify():增加换行符

from bs4 import BeautifulSoup
soup = BeautifulSoup(demo,"html.parser")
soup.prettify()
print(soup.prettify())
print(soup.a.prettify())