#最近在学爬虫，把学习过程做个记录，也方便自己以后查看。
##三、数据解析篇
聚焦爬虫：爬取页面中指定的页面内容。
-编码流程：
-指定urL
-发起请求
-获取响应数据
-数据解析
-持久化存储
数据解析原理概述：
-解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储
-1.进行指定标签的定位
-2.标签或者标签对应的属性中存储的数据值进行提取（解析）
数据解析分类：
-正则
实例：
#爬取糗事百科中糗图板块下所有糗图图片
import requests
import re
import os
if __name__ == "__main__":
#创建一个文件夹，保存所有图片
if not os.path.exists('./qiutuLibs'):
os.mkdir('./qiutuLibs')
headers = {
'User-Agent': '（这里放自己浏览器的UA就行啦）'
}
url = 'https://www.qiushibaike.com/imgrank/page/%d/'
for pageNum in range(1,3):
#对应页码的url
new_url = format(url%pageNum)
#用通用爬虫对url对应的整个网页进行爬取
page_text = requests.get(url=new_url,headers=headers).text
#使用聚焦爬虫将页面中所有糗图进行解析/提取
ex = '<div class="thumb">.*?src="(.*?)" alt=".*?</div>'
img_src_list = re.findall(ex,page_text,re.S)
# print(img_src_list)
for src in img_src_list:
#拼接成完整的图片url
src = 'https:' + src
img_data = requests.get(url=src,headers=headers).content
#生成图片名称
img_name = src.split('/')[-1]
#图片存储的路径
imgPath = './qiutuLibs/'+img_name
with open(imgPath,'wb') as fp:
fp.write(img_data)
print('over!')
-bs4
-bs4数据解析的原理：
-1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中
-2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取
-环境安装：
-pip install bs4
-pip install lxml
-如何实例化BeautifulSoup对象：
-from bs4 import BeautifulSoup
-对象的实例化：
#-1.将本地的html文档中的数据加载到该对象中
fp=open（"./test.htmL'，'r'，encoding='utf-8）
soup=BeautifulSoup（fp，'1xmL'）
#-2.将互联网上获取的页面源码加载到该对象中
page_text=response.text
soup=Beatifulsoup（page_text，'1xml'）
-提供的用于数据解析的方法和属性：
-soup.tagName：返回的是文档中第一次出现的tagName对应的标签
-soup.find（）：
-find（‘tagName’）：等同于soup.tagName
-属性定位：soup.find（‘div’，class_/id/attr=‘song’）
-soup.find_all（‘tagName’）：返回符合要求的所有标签（列表）
-select：
-select（‘某种选择器（id，class，标签…选择器）），返回的是一个列表。
-层级选择器：
-soup.select（’.tang>ul>li>a’）：>表示的是一个层级
-oup.select（’.tang>ul a’）：空格表示的多个层级
-获取标签之间的文本数据：
-soup.a.text/string/get_text（）
-text/get_text（）：可以获取某一个标签中所有的文本内容
-string：只可以获取该标签下面直系的文本内容
-获取标签中属性值：
-soup.a[‘href’]
实例：
import requests
from bs4 import BeautifulSoup
#爬取三国演义小说所有的章节标题和章节内容http://www.shicimingju.com/book/sanguoyanyi.html
if __name__ == "__main__":
#对首页的页面数据进行爬取
headers = {
'User-Agent': '（这里放自己浏览器的UA就行啦）'
}
url = 'http://www.shicimingju.com/book/sanguoyanyi.html'
page_text = requests.get(url=url,headers=headers).text
#在首页中解析出章节的标题和详情页的url
#1.实例化BeautifulSoup对象，需要将页面源码数据加载到该对象中
soup = BeautifulSoup(page_text,'lxml')
#解析章节标题和详情页的url
li_list = soup.select('.book-mulu > ul > li')
fp = open('./sanguo.txt','w',encoding='utf-8')
for li in li_list:
title = li.a.string
detail_url = 'http://www.shicimingju.com'+li.a['href']
#对详情页发起请求，解析出章节内容
detail_page_text = requests.get(url=detail_url,headers=headers).text
detail_soup = BeautifulSoup(detail_page_text,'lxml')
div_tag = detail_soup.find('div',class_='chapter_content')
#解析到了章节的内容，进行存储
content = div_tag.text
fp.write(title+':'+content+'\n')
print(title,'爬取成功！')
-xpath（*）
- xpath解析原理：
- 1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。
- 2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。
- 环境的安装：
- pip install lxml
- 如何实例化一个etree对象:from lxml import etree
- 1.将本地的html文档中的源码数据加载到etree对象中：
etree.parse(filePath)
- 2.可以将从互联网上获取的源码数据加载到该对象中
etree.HTML(‘page_text’)
- xpath(‘xpath表达式’)
- xpath表达式:
- /:表示的是从根节点开始定位。表示的是一个层级。
- //:表示的是多个层级。可以表示从任意位置开始定位。
- 属性定位：//div[@class=‘song’] tag[@attrName=“attrValue”]
- 索引定位：//div[@class=“song”]/p[3] 索引是从1开始的。
- 取文本：
- /text() 获取的是标签中直系的文本内容
- //text() 标签中非直系的文本内容（所有的文本内容）
- 取属性：
/@attrName ==>img/src
from lxml import etree
if __name__ == "__main__":
#实例化好了一个etree对象，且将被解析的源码加载到了该对象中
tree = etree.parse('test.html')
# r = tree.xpath('/html/body/div')
# r = tree.xpath('/html//div')
# r = tree.xpath('//div')
# r = tree.xpath('//div[@class="song"]')
# r = tree.xpath('//div[@class="tang"]//li[5]/a/text()')[0]
# r = tree.xpath('//li[7]//text()')
# r = tree.xpath('//div[@class="tang"]//text()')
r = tree.xpath('//div[@class="song"]/img/@src')
实例：
#爬取58二手手机中的手机信息
import requests
from lxml import etree
if __name__ == "__main__":
headers = {
'user-agent': '（这里放自己浏览器的UA就行啦）'
}
#爬取页面源码数据
url = 'https://sh.58.com/shouji/?PGTID=0d300024-008d-222a-e51c-17b927a0458a&ClickID=1'
page_text = requests.get(url=url,headers=headers,).text
#数据解析
tree = etree.HTML(page_text)
#存储的就是tr对象
tr_list = tree.xpath('//table[@id="jingzhun"]/tr')#写成('//table[@id="jingzhun"]/tbody/tr')结果为空
fp = open('58.txt','w',encoding='utf-8')
for tr in tr_list:
#局部解析
if len(tr.xpath('./td[@class="t"]/div[@class="tdiv"]/a/text()'))>0:
title = tr.xpath('./td[@class="t"]/div[@class="tdiv"]/a/text()')[0]
print(title)
price = tr.xpath('./td[@class="vertop-es"]/b[@class="pri"]/text()')[0]
print(price)
fp.write(title+'\b'+price+'\n')
#爬取网页图片
import requests
from lxml import etree
import os
if __name__ == '__main__':
url = 'http://pic.netbian.com/4kdongwu/'
headers = {
'User-Agent':'（这里放自己浏览器的UA就行啦）'
}
response = requests.get(url=url,headers=headers)
# 手动设定响应数据的编码格式
# response.encoding = 'utf-8'
page_text = response.text
tree = etree.HTML(page_text)
li_list = tree.xpath('//div[@class="slist"]/ul[@class="clearfix"]/li')
#创建文件夹
if not os.path.exists('./picLibs'):
os.mkdir('./picLibs')
for li in li_list:
img_src = 'http://pic.netbian.com' + li.xpath('./a/img/@src')[0]
img_name = li.xpath('./a/img/@alt')[0]+'.jpg'
# 通用处理中文乱码的解决方案
img_name = img_name.encode('iso-8859-1').decode('gbk')
# print(img_name,img_src)
#对图片持久化存储
img_data = requests.get(url=img_src,headers=headers).content
img_path = 'picLibs/' + img_name
with open(img_path,'wb') as fp:
fp.write(img_data)
print(img_name,'下载成功！')
扫一扫
2128
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
