-
发送请求, 对于英雄的详情页发送请求 https://…com/web201605/herodetail/542.shtml
-
获取数据, 获取服务器返回的response响应数据
-
解析数据, 提取皮肤的名字 以及构建完整图片url地址
-
保存数据
====================================================================
完整的视频讲解,会了的可以不看
表弟新年礼物问我要王者皮肤,我直接用python给他爬了个全皮肤!
====================================================================
代码不多,稍微会一点的,对照流程就能做出来了,初学者不会的话可以看上面的视频。
import requests # 数据请求模块 第三方模块 pip install requests
import re # 正则表达式模块 内置模块
import os # 文件操作模块
1. 发送请求
url = ‘https://***.com/web201605/js/herolist.json’ # 确定请求url
加上headers请求头进行伪装
headers = {
‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36’
}
通过requests这个模块里面get请求方法对于url地址发送请求, 并且携带上headers请求头伪装, 最后用response变量接收返回数据
response = requests.get(url=url, headers=headers)
print(response.json()) # <class ‘list’>
print(type(response.json()))
print(response.text) # <class ‘str’>
print(type(response.text))
2. 获取数据, 获取服务器返回的response响应数据
3. 解析数据, 提取我们想要的数据内容英雄ID 以及 英雄名字
for index in response.json():
字典取值 根据冒号左边的内容 提取冒号右边的内容 键值对取值
hero_id = index[‘ename’] # 英雄ID
hero_name = index[‘cname’] # 英雄名字
相对路径 你代码在哪个文件夹里面, 生成的就是那个
绝对路径 指定那个硬盘那个文件里面
path = f’{hero_name}\’
if not os.path.exists(path): # 判断是否有这个文件夹
os.mkdir(path) # 没有创建
字符串格式化方法
hero_url = f’https://****.com/web201605/herodetail/{hero_id}.shtml’
4.发送请求, 对于英雄的详情页发送请求
response_1 = requests.get(url=hero_url, headers=headers)
遇到乱码, 直接进行转码
response_1.encoding = response_1.apparent_encoding # 自动识别编码
print(hero_id, hero_name, hero_url)
print(response_1.text)
title_info = re.findall(‘
- ’, response_1.text)[0]
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Python开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024c (备注Python)
感谢每一个认真阅读我文章的人,看着粉丝一路的上涨和关注,礼尚往来总是要有的:
① 2000多本Python电子书(主流和经典的书籍应该都有了)
② Python标准库资料(最全中文版)
③ 项目源码(四五十个有趣且经典的练手项目及源码)
④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)
⑤ Python学习路线图(告别不入流的学习)
电子书(主流和经典的书籍应该都有了)
② Python标准库资料(最全中文版)
③ 项目源码(四五十个有趣且经典的练手项目及源码)
④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)
⑤ Python学习路线图(告别不入流的学习)