【Python】采集剧本杀店家数据信息，可视化演示

苏南Python~

已于 2022-12-12 15:28:55 修改

阅读量422

点赞数 1

分类专栏： Python 文章标签： python 算法

于 2022-12-12 14:52:28 首次发布

本文链接：https://blog.youkuaiyun.com/sunanpython/article/details/128286320

版权

本文介绍了如何使用Python进行剧本杀店铺数据的采集，包括数据来源分析、代码实现步骤（发送请求、获取和解析数据、保存数据）、模块使用（requests、re、csv）以及如何处理反爬策略。此外，还分享了数据可视化的代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

哈喽啊，友友们

有喜欢玩桌游或者剧本杀的吗

其实我自己对这个不太感兴趣哈哈，但是也玩过

正好又有朋友约着出去，就是不知道哪家店更值得去

所以趁着还有几天就用python来采集一些店家的数据信息

并做个可视化演示吧

环境使用:

Python 3.8
Pycharm

模块使用:

requests >>> pip install requests
re
csv

如果安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests)回车
在pycharm中点击Terminal(终端) 输入安装命令

基本流程思路: <通用>

一. 数据来源分析

抓包分析我们想要数据内容, 请求的那个网站 url地址得到
F12 或者鼠标右键点击检查选择network, 点击第二页
选中xhr 第一个数据包就是我们想要的内容用到开发者工具搜索功能

二. 代码实现步骤过程: 固定四大步骤

发送请求, 对于刚刚分析得到url地址发送请求
获取数据, 获取服务器返回响应数据 —> 开发者工具里面response
解析数据, 提取我们想要数据内容 —> 店铺基本信息
保存数据, 保存数据, 保存表格里面
多页数据采集

多页数据采集 —> 循环 for <目的>

分析请求url地址参数变化

代码

原码.点击即可领取【备注：苏】

# 导入数据请求模块 ---> 第三方模块 需要 pip install requests
import requests
# 导入格式化输出模块 --> 内置模块 不需要安装
from pprint import pprint
# 导入csv模块 --> 内置模块 不需要安装
import csv
# 导入时间模块 --> 内置模块 不需要安装
import time
# 导入正则模块 --> 内置模块 不需要安装
import re