工作中第一个从页面爬取数据存储到数据库中-优快云博客

本文链接：https://blog.youkuaiyun.com/linx_eric/article/details/129494881

该脚本使用requests库从URL获取JSON数据，利用lxml处理XML，然后用pymysql连接MySQL数据库，遍历数据并插入到jsonContent表中。如果遇到重复数据或执行异常，则终止插入操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
import pymysql
from lxml import etree
# 连接数据库
db = pymysql.connect(host="localhost", user="root", password=" ", db="lx", port=3306, charset="utf8")
# 创建游标
cursor = db.cursor()

# url
url = "  "
# 查看url请求是否成功
response = requests.get(url)
# print(response)

# 将数据信息转换为json格式
js = response.json()

#因为数据在'jsonContent'中，所以先获取'jsonContent'。
infos = js['jsonContent']
# print(infos)

# for i in infos:


# 便利数据,获取数据信息
for info in infos:
    direction = info['direction']
    elevation = info['elevation']
    latitude = info['latitude']
    longitude = info['longitude']
    speed = info['speed']
    terminalId = info['terminalId']
    time = info['time']
    utcTime = info['utcTime']
    # sql写入信息
    vallu ={direction, elevation,latitude,longitude,speed,terminalId,time,utcTime}
    sql = "INSERT INTO jsoncontent (direction,elevation,latitude,longitude,speed,terminalId,time,utcTime)  VALUES ('{}','{}','{}','{}','{}','{}','{}','{}')".format(
        direction, elevation, latitude, longitude, speed, terminalId, time, utcTime)
    # 如果没有数据设置为空
    sql = sql.replace('\'None\'', 'null')

    try:
        # 执行sql
        cursor.execute(sql)
    except Exception as e:
        print(e)
        # 遇到重复数据终止插入
        break

# 同步数据库
db.commit()

# 关闭数据库和游标连接
cursor.close()
db.close()