Python爬虫案例与实战：常见的网页解析工具

最新推荐文章于 2025-06-05 12:00:00 发布

原创

最新推荐文章于 2025-06-05 12:00:00 发布 · 1.3k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #数据库

Python爬虫案例与实战：常见的网页解析工具

在前面了解网页结构的基础上，接下来将介绍几种工具，分别是XPath、BeautifulSoup模块以及lxml模块。

1.3.1BeautifulSoup

BeautifulSoup是一个很流行的Python库，名字来源于《爱丽丝梦游仙境》中的一首诗，作为网页解析（准确地说是XML和HTML解析）的利器，BeautifulSoup提供了定位内容的人性化接口，简便正是它的设计理念。由于BeautifulSoup并不是Python内置的，因此仍需要使用pip来安装。这里来安装最新的版本(BeautifulSoup4版本，也叫bs4):pipinstallbeautifulsoup4。另外，也可以这样安装：pipinstallbs4。Linux用户也可以使用apt-get工具来进行安装：apt-getinstallPython-bs4。注意，如果计算机上Python2和Python3两种版本同时存在，那么可以使用pip2或者pip3命令来指明是为哪个版本的Python来安装，执行这两种命令是有区别的，如图1-4所示。
在这里插入图片描述
BeautifulSoup中的主要工具就是BeautifulSoup(对象)，这个对象的意义是指一个HTML文档的全部内容，先来看看BeautifulSoup对象能干什么：

import bs4, requests 
from bs4 import BeautifulSoup    

ht = requests. get(' https://www. douban. com')
bsl = BeautifulSoup(ht. content) 
print(bs1. prettify())
print(' title')
print(bs1. title) 
print(' title. name')
print(bs1. title. name) 
print(' title. parent. name')
print(bs1. title. parent. name)
print