python beautifulsoup库_Python BeautifulSoup库使用

目录

1、BeautifulSoup库介绍:

2、BeautifulSoup 使用步骤:

3、选择器分类:

4、 CSS选择器:

1. BeautifulSoup库介绍:

# BeautifulSoup库介绍:

BeautifulSoup也是一个解析库

BS解析数据是依赖解析器的, BS支持的解析器有html.parser, lxml, xml, html5lib等, 其中lxml 解析器解析速度快, 容错能力强.

BS现阶段应用的解析器多数是lxml

2. BeautifulSoup 使用步骤:

# BeautifulSoup 使用步骤:

from bs4 import BeautifulSoup

soup = BeautifulSoup(res.text, 'lxml') #实例化BeautifulSoup对象

tag = soup.select("CSS选择器表达式") # 返回一个列表

3. 选择器分类:

1).节点选择器 2).方法选择器 3).CSS选择器

4. CSS选择器:

# CSS选择器:

1.根据节点名及节点层次关系定位标签: 标签选择器 & 层级选择器

soup.select('title')

soup.select('div > ul > li') # 单层级选择器

soup.select('div li') # 多层级选择器

2.根据节点的class属性定位标签: class选择器(classical:经典)

soup.select('.panel')

3.根据id属性定位标签: id选择器

soup.select('#item')

4.嵌套选择:

ul_list = soup.select('ul') #得到的依然是一个数据列表

for ul in ul_list:

print(ul.select('li'))

# 获取节点的文本或属性:

# 如果标签下除了直接子文本外还有其他标签，string将无法获取直接子文本

tag_obj.string: #获取直接子文本-->如果节点内有与直系文本平行的节点, 该方法拿到的是None

tag_obj.get_text(): #获取子孙节点的所有文本

tag_obj['attribute']: #获取节点属性

# 练习示例:

from bs4 import BeautifulSoup

html = '''

BeautifulSoup练习

这是一个div的直接子文本

这是一个段落

这是百度的跳转连接

第一个li标签

第二个li标签

第三个li标签

one

two

测试多层级选择器

'''

# 1.实例化BeautifulSoup对象

soup = BeautifulSoup(html,'lxml')

#2.条用css选择器定位标签，获取标签的文本或属性

### 2.1 根据节点名定位

# r1 = soup.select('h4')

# print(type(r1))

# #列表用下标0取出第一个元素

# print(r1[0].string) #直接获取子文本

# print(r1[0].get_text()) #直接获取所有的子孙文本

### 2.2 根据节点的class定位

# k1 = soup.select('.panel-heading')

# print(k1[0])

### 2.3根据id选择标签定位

# k2 = soup.select('#list-1')

# print(k2[0].get_text())

### 2.4单层级选择器

# cc = soup.select('.panel-body > ul >li')

# print(cc)

### 2.5多层级选择器

# cc1 = soup.select('.panel-body li')

# print(cc1)

'''

利用bs4语法，爬取三国演义文字

'''''

# import requests

# from bs4 import BeautifulSoup

#

# url = 'http://www.shicimingju.com/book/sanguoyanyi.html'

# headers = {

# 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'

# }

# res = requests.get(url=url,headers=headers)

# soup = BeautifulSoup(res.text,'lxml')

# ret = soup.select('.book-mulu ul li')

# for i in ret:

# title = i.select('a')[0].string

# comment = 'http://www.shicimingju.com'+i.select('a')[0]['href']

# ret1 = requests.get(url=comment,headers=headers)

# res1 = BeautifulSoup(ret1.text,'lxml')

# cc = res1.select('.chapter_content ')[0].get_text()

# with open('threecountry.txt','a',encoding='utf-8') as f:

# f.write(cc+'\n')

'''

利用xpath语法，爬取三国演义文字

'''''

import requests

from lxml import etree

url = 'http://www.shicimingju.com/book/sanguoyanyi.html'

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'

}

res = requests.get(url=url,headers=headers)

tree = etree.HTML(res.text)

ret = tree.xpath('//div[@class="book-mulu"]/ul/li')

for i in ret:

rec = i.xpath('./a/@href')[0]

name = i.xpath('./a/text()')[0]

url = 'http://www.shicimingju.com'+rec

res1 = requests.get(url= url,headers=headers)

tree1 = etree.HTML(res1.text)

cope = tree1.xpath('//div[@class="chapter_content"]/p/text()')[0]+'\n'

with open(name+'.txt','a',encoding='utf-8') as f:

f.write(cope)