外卖必不可少,咋确定好不好吃呢~ python采集数据信息

所需知识点

1、动态数据抓包演示
2、json数据解析
3、requests模块的使用
4、保存csv

安装命令：requests >>> pip install requests

---

模块安装问题:

如果安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
2. 在pycharm中点击Terminal(终端) 输入安装命令
   

---

如何配置pycharm里面的python解释器?

1. 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
2. 点击齿轮, 选择add
3. 添加python安装路径

---

pycharm如何安装插件?

1. 选择file(文件) >>> setting(设置) >>> Plugins(插件)
2. 点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese
3. 选择相应的插件点击 install(安装) 即可
4. 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效

---

案例实现思路流程: 可见即可爬…

一. 数据来源分析

通过开发者工具进行抓包分析, 分析自己想要数据内容 可以从哪里获取

分析数据 从第二页开始

1. 打开开发者工具
2. 点击第二页内容
3. 点击搜索按钮, 进行搜索内容
4. 查看服务器返回响应数据内容

二. 代码实现步骤: 发送请求 >>> 获取数据 >>> 解析数据 >>> 保存数据

用代码去模拟浏览器发送请求获取数据

1. 发送请求, 对于刚刚分析得到url地址发送请求
2. 获取数据, 获取服务器返回数据
3. 解析数据, 提取我们想要数据内容 店铺基本信息
4. 保存数据, 把数据表格里面

代码

1.导入模块

import requests  # 数据请求模块
import pprint  # 格式化输出模块
import csv  # 内置模块
import time
import re

def get_shop_info(html_url):
    # url = 'https://www.meituan.com/xiuxianyule/193306807/'
    headers = {
   
   
        'Cookie': '_lxsdk_cuid=17e102d3914c8-000093bbbb0ed8-4303066-1fa400-17e102d3914c8; __mta=48537241.1640948906361.1640948906361.1640948906361.1; _hc.v=e83bebb5-d6ee-d90e-dd4b-4f2124f8f982.1640951715; ci=70; rvct=70; mt_c_token=2Tmbj8_Qihel3QR9oEXS4nEpnncAAAAABBEAAB9N2m2JXSE0N6xtRrgG6ikfQZQ3NBdwyQdV9vglW8XGMaIt38Lnu1_89Kzd0vMKEQ; iuuid=3C2110909379198F1809F560B5E33A58B83485173D8286ECD2C7F8AFFCC724B4; isid=2Tmbj8_Qihel3QR9oEXS4nEpnncAAAAABBEAAB9N2m2JXSE0N6xtRrgG6ikfQZQ3NBdwyQdV9vglW8XGMaIt38Lnu1_89Kzd0vMKEQ; logintype=normal; cityname=%E9%95%BF%E6%B2%99; _lxsdk=3C2110909379198F1809F560B5E33A58B83485173D8286ECD2C7F8AFFCC724B4; _lx_utm=utm_source%3DBaidu%26utm_medium%3Dorganic; latlng=28.302546%2C112.868692