【python】采集每日必看黄色软件数据~

前言

大家早好、午好、晚好吖 ❤ ~欢迎光临本文章

环境使用:

• Python 3.8

• Pycharm

模块使用:

• requests >>> pip install requests

• re

• csv

安装模块：win + R 输入cmd 输入安装命令 pip install 模块名

如果出现爆红 可能是因为 网络连接超时 切换国内镜像源

基本思路:

1. 明确需求:

   采集网站以及数据是什么?

   店铺数据

   PS: 一定要清楚, 数据是请求那个链接可以获取

   通过开发者工具进行抓包分析

   • 打开开发者工具: F12 / fn+F12 / 鼠标右键点击检查选择network

   • 点击第二页, 第一个数据包就是我们要的链接地址

     <通过关键词进行搜索,找到对应的数据包 [请求链接] >

代码怎么实现?

1. 发送请求, 模拟浏览器对url地址发送请求 <为了得到数据>

2. 获取数据, 获取服务器返回响应数据 --> response <得到所有数据>

3. 解析数据, 提取我们想要的数据内容 <得到想要的数据>

4. 保存数据, 保存表格文件

代码展示

导入模块

# 导入数据请求模块 --> 第三方模块, 需要安装 pip install requests
import requests
# 导入格式化输出模块
from pprint import pprint
# 导入csv模块
import csv

创建文件

f = open('烤肉.csv', mode='a', encoding='utf-8', newline=''