怎样利用 python 学习爬虫？-优快云博客

使用Python做爬虫其实很简单，这里使用一个小案例来详细介绍Python爬虫的用法，借助Python工具爬取王者荣耀英雄人物头像图片，Python爬虫爬取网页图片可以分为四步：明确目的、发送请求、数据解析、保存数据，具体步骤如下，下面一起学习。

示例工具：anconda3.7
本文讲解内容：Python爬取图片
适用范围：网页解析、图片爬取

01. 明确目的

打开王者荣耀英雄介绍主页，该主页包含很多种英雄的头像图片，主页网址链接如下。

https://pvp.qq.com/web201605/herolist.shtml

02. 发送请求

使用requests库发送请求，返回状态码显示为200，服务器连接正常。

import requests 
u='https://pvp.qq.com/web201605/herolist.shtml' 
response=requests.get(u) 
print('状态码:{}'.format(response.status_code)) 
if response.status_code != 200:
     pass else: print("服务器连接正常")

03. 数据解析

在数据解析之前，需要提前安装pyquery，pyquery库类似于Beautiful Soup库，初始化的时候，需要传入HTML文本来初始化一个PyQuery对象，它的初始化方式包括直接传入字符串，传入URL，传入文件名等等，这里传入URL，并且查找节点。

#解析数据 
from pyquery import PyQuery  
doc=PyQuery(html) 
items=doc('.herolist>li')#.items() 

print(items)

同时遍历，使用find函数查找子节点，遍历爬取图片URL和图片名。

for item in items:
     url=item.find('img').attr('src')
     #print(url)
     urls='http:'+url
     name=item.find('a').text()
     #print(name)
     url_content=requests.get(urls).content

04. 保存数据

最后保存数据，需要提前新建一个文件夹用于数据存储，同时，存储数据的代码需要写在for循环里面，不然只会保存一张图片。

with open('C:/Users/尚天强/Desktop/王者荣耀picture/'+name+'.jpg','wb') as file:
         file.write(url_content)
         print("正在下载%s......%s"%(name,urls))

同时加一个计时器，用于计时图片爬取的时长，这里显示图片爬取共计耗时7.03秒。

import time 

start=time.time()
 … 
end=time.time() 
print('图片爬取共计耗时{:.2f}秒'.format(end-start))

爬取过程动态演示如下，运行过程很快。

以上我们成功将王者荣耀的英雄人物头像爬取下来，代码文件中有高清头像。

将代码进行封装，完整版代码如下，如果你也感兴趣的话可以自己实际运行试一试，爬取生成结果。

import time 
start=time.time()  

import requests 
from pyquery import PyQuery  

#确定目标 
url="https://pvp.qq.com/web201605/herolist.shtml" 

#发送请求 
html=requests.get(url).content 
#print(html) 

#解析数据 
doc=PyQuery(html) 
items=doc('.herolist>li').items()
#print(items) 

for item in items:
     url=item.find('img').attr('src')
     #print(url)
     urls='http:'+url 
     name=item.find('a').text()
     #print(name)
     url_content=requests.get(urls).content

    #保存数据 
     with open('C:/Users/尚天强/Desktop/王者荣耀picture/'+name+'.jpg','wb') as file:
          file.write(url_content)
          print("正在下载%s......%s"%(name,urls)) 

print("下载完毕")  

end=time.time() 
print('图片爬取共计耗时{:.2f}秒'.format(end-start))

总结一下，使用Python爬取数据一共分为四步：明确目的、发送请求、数据解析、保存数据，熟练掌握以上四个步骤，即可从网页爬取数据，数据形式不限于文本、数字、图片等

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

在这里插入图片描述