python3:爬虫并存入mysql_python mysql插入爬虫数据-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_37408031/article/details/78594174

本文介绍了使用Python3编写爬虫抓取电脑客户端订单信息，并将数据存储到MySQL数据库的过程。通过HttpAnalyzerStdV7进行抓包，设定10秒爬取间隔，抓取新订单信息，根据爬取结果创建数据库表，设置唯一索引，并确保数据导入时的编码和字段匹配。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬一个电脑客户端的订单。罗总推荐，抓包工具用的是HttpAnalyzerStdV7，与chrome自带的F12类似。客户端有接单大厅，罗列所有订单的简要信息。当单子被接了，就不存在了。我要做的是新出订单就爬取记录到我的数据库zyc里。

设置每10s爬一次。

抓包工具页面如图：
网页分析

首先是爬虫，先找到数据存储的页面，再用正则爬出。

# -*- coding:utf-8 -*-
import re
import requests
import pymysql  #Python3的mysql模块，Python2 是mysqldb
import datetime
import time

def GetResults():
    requests.adapters.DEFAULT_RETRIES = 5  #有时候报错，我在网上找的不知道啥意思，好像也没用。
    reg = [r'"id":(.*?),',
            r'"order_no":"(.*?)",',
            r'"order_title":"(.*?)",',
            r'"publish_desc":"(.*?)",',
            r'"game_area":"(.*?)\\/(.*?)\\/(.*?)",',
            r'"order_current":"(.*?)",',
            r'"order_content":"(.*?)",',
            r'"order_hours":(.*?),',
            r'"order_price":"(.*?)",',
            r'"add_price":"(.*?)",',
            r'"safe_money":"(.*?)",',
            r'"speed_money":"(.*?)",',
            r'"order_status_desc":"(.*?)",',
            r'"order_lock_desc":"(.*?)",',
            r'"cancel_type_desc":"(.*?)",',
            r'"kf_status_desc":"(.*?)",',
            r'"is_show_pwd":(.*?),',
            r'"game_pwd":"(.*?)",',
            r'"game_account":"(.*?)",',
            r'"game_actor":"(.*?)",',
            r'"left_hours":"(.*?)",',