来唠点嗑?
咳咳,最近是咋的了,某站掀起了一股双色球热潮?一般我自己的账号上,是很少看到关于python这些内容的,都是小姐姐和热梗,或者其他搞笑视频
由于💴的吸引力…手不自觉的就点进去了,看了两分钟,emm不就是采集数据,做可视化分析吗,这我也会,至于能不能中奖,今晚下班买点看看,毕竟机会是留给有准备的人的,我准备一下午,总能分我点机会吧 ~
来来来,宝宝们,好事都是要一起分享的,咱现在就开始看看如何实现富婆富豪梦
前期准备
- 环境准备
python 3.6 pycharm requests >>> pip install requests win + R 输入cmd
然后点击确定 pip install requests 回车
csv
- 代码实现过程
1.发送请求
headers请求头
cookies: 用户的信息 常用于检测是否有登录账号
host: 域名
referer: 防盗链 告诉服务器你请求的url地址 是从哪里来的(从哪里跳转过来的)
User-Agent : 浏览器的基本信息
作用: 把python代码伪装成浏览器对服务器发送请求,
服务器接收到请求,会给我们返回response响应体数据
2.获取数据
response.text 获取响应体的文本数据 (获取网页源代码)
response.json() 获取响应体的json字典数据 (动态网页)
response.content 获取响应体的二进制数据 保存 图片/视频/音频/特定格式的文件
3.解析数据
re正则表达式 / css选择器 / xpath
提取自己想要数据内容
4.保存数据
文本 / csv excel / 数据库 /
- 数据分析编辑器:
jupyter notebook
1.你需要安装 和安装模块一样的 pip install jupyter notebook
2.打开 在cmd输入 jupyter notebook
全部代码
import requests # 数据请求 第三方模块 pip install requests
import pprint # 格式化输出的模块 内置模块
import csv # 内置模块
f = open('双色球.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['期号',
'开奖日期',
'红球',
'蓝球',
'一等奖中奖注数',
'