如何用python抓数据,python如何抓数据

大家好，小编来为大家解答以下问题，如何用python抓数据，python如何抓数据，现在让我们一起来看看吧！

前言

嗨喽~大家好呀，这里是魔王呐 !

环境介绍：

• python 3.6

• pycharm

爬虫部分使用模块：

• csv

• requests >>> pip install requests

• parsel

如何安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
2. 在pycharm中点击Terminal(终端) 输入安装命令

数据可视化使用模块：

• pyecharts

• pandas

本节课程的案例流程思路：

一. 网站数据来源查询：

1. 确定一下目标需求： 爬取猫咪交易网站数据 做一个数据可视化图

2. 去网站 ： 地区 …

3. 如果想要在网页上抓包 找一些数据来源 都是要通过开发者工具 F12/ 鼠标右键点击检查

   • 可以直接复制想要数据内容在开发者工具进行搜索

二. 代码实现步骤

1. 请求 http://www.maomijiaoyi.com/index.php?/chanpinliebiao_c_2.html 获取 猫咪的详情页url地址以及地区

2. 请求 猫咪的详情页url地址 获取猫咪详情信息数据

3. 保存数据 到CSV文件

4. 数据可视化

采集代码

获取源码链接点击

import requests  # 第三方模块 需要 pip install requests 发送请求
import parsel # 解析模块 pip install parsel
import csv # 内置模块 不需要大家安装

f = open('猫咪.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['地区', '店名', '标题', '价格', '浏览次数', '卖家承诺', '在售只数',
                                           '年龄', '品种', '预防', '联系人', '联系方式', '异地运费', '是否纯种',
                                           '猫咪性别', '驱虫情况', '能否视频', '详情页'])

# 写入表头
csv_writer.writeheader()

for page in range(1, 21):
    print(f'===========================正在爬取第{page}页的数据内容==================================')