Python采集某平台书籍和评论数据~

前言

嗨喽，大家好呀！这里是魔王呐~

环境使用:

• Python 3.8
• Pycharm

模块使用:

• requests >>> pip install requests
• parsel >>> pip install parsel
• csv

如果安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

2. 在pycharm中点击Terminal(终端) 输入安装命令

基本实现流程:

<通用模板> 采集视频<小电影> 采集图片<美女小姐姐> 采集小说

一. 数据来源分析

确定了自己想要采集数据是什么?

通过开发者工具抓包分析 <不知道 1 知道 2>

通过F12开发者工具里面的搜索关键字, 找到相应的数据

二. 代码实现步骤过程

爬虫模拟浏览器对于url地址发送请求, 获取服务器返回响应数据

1. 发送请求 发送get请求
2. 获取数据, 获取服务器返回响应数据 response<开发者工具里面看到的>
3. 解析数据, 提取我们想要数据内容 xpath css re 这些方法去提取
4. 保存数据, 保存表格里面

代码

采集书籍数据

import requests  # 数据请求模块 <工具>
import parsel  # 数据解析模块 <工具>
import csv  # csv数据表格

# mode='a' mode是什么意思 保存方式 a 是什么意思 追加保存
f = open('data_1.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '标题',
    '评论',
    '推荐',
    '作者',
    '日期',
    '出版社',
    '售价',
    '原价',
    '折扣',
    '电子书',
    '详情页',
])
csv_writer.writeheader()  # 写表头
"""
发送请求
    爬虫模拟浏览器对于url地址发送请求, 获取服务器返回响应数据

    变量规则:
        不能使用数字开头
        不推荐使用关键字作为变量名 <import def del ...>
"""
# 确定网址
for page in range(1, 26):  # 包含头, 不包含尾巴
    print(f'=======================正在采集{
     
     page}页数据内容=======================')
    url = f'http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-recent7-0-0-1-{
     
     page}'
    # 　headers 请求头 用来伪装模拟python代码 字典的数据类型
    headers = {
   
   
        'User-Ag