Python爬虫案例与实战:常见的网页解析工具

Python爬虫案例与实战:常见的网页解析工具

在前面了解网页结构的基础上,接下来将介绍几种工具,分别是XPath、BeautifulSoup模块以及lxml模块。

1.3.1BeautifulSoup

BeautifulSoup是一个很流行的Python库,名字来源于《爱丽丝梦游仙境》中的一首诗,作为网页解析(准确地说是XML和HTML解析)的利器,BeautifulSoup提供了定位内容的人性化接口,简便正是它的设计理念。由于BeautifulSoup并不是Python内置的,因此仍需要使用pip来安装。这里来安装最新的版本(BeautifulSoup4版本,也叫bs4):pipinstallbeautifulsoup4。另外,也可以这样安装:pipinstallbs4。Linux用户也可以使用apt-get工具来进行安装:apt-getinstallPython-bs4。注意,如果计算机上Python2和Python3两种版本同时存在,那么可以使用pip2或者pip3命令来指明是为哪个版本的Python来安装,执行这两种命令是有区别的,如图1-4所示。
在这里插入图片描述
BeautifulSoup中的主要工具就是BeautifulSoup(对象),这个对象的意义是指一个HTML文档的全部内容,先来看看BeautifulSoup对象能干什么:

import bs4, requests 
from bs4 import BeautifulSoup    

ht = requests. get(' https://www. douban. com')
bsl = BeautifulSoup(ht. content) 
print(bs1. prettify())
print(' title')
print(bs1. title) 
print(' title. name')
print(bs1. title. name) 
print(' title. parent. name')
print(bs1. title. parent. name)
print
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值