爬取数据并写入MySQL数据库

1.爬取思路总结概述：

        a.请求网页，获取json数据：request函数

        b.使正则re 模块，提取出 { {……} }信息所在部分的字典 ：re.search()

        c.为了防止连续请求中出现，IP被封的风险，将数据保存到文件中，实现数据永久化存储

        d.读取文件中的数据，数据筛选，提取有用信息 ：可使用jsonpath库快速定位查找

        e.写入CSV文件，写入数据库MySQL：写入数据库时，可能会有异常而终止，加入try……

2.数据提取、存储源码如下：

from urllib import request
import re,json,csv
from jsonpath import jsonpath

url='https://voice.baidu.com/act/newpneumonia/newpneumonia'
dates=request.urlopen(url)
res=dates.read().decode()
date=re.search(r'id="captain-config">(.*?)</script>',res).group().replace('id="captain-config">','').replace('</script>','')
# 将网页抓取到json信息保存到文件
with open('shuju.json','w',encoding='utf-8') as fp:
    fp.write(date)
# 从文件中读取信息
with open('shuju.json','r',encoding='utf-8') as fp1:
    # 读取数据并反序列化
    D=json.loads(fp1.read())

# 信息查找，可使用jsonpath快速定位查找信息列表 jsonpath(D,'$..caseList')
list1 = []
for x in D['component'][0]['caseList']:
    for y in x['subList']:
        dict1 = {}
        dict1['省份']=x['area']
        dict1['城市']=y['city']
        dict1['累计确诊']=y['confirmed']
        dict1['当前确诊']=y['confirmedRelative']
        dict1['新增无症状感染者']=y['asymptomaticRelative']
        dict1['累计死亡']=y['died']
        list1.append(dict1)

# # 写入csv文件
with open('百度疫情.csv','w',encoding='utf-8') as fp2:
    header = ['省份', '城市', '累计确诊', '当前确诊', '新增无症状感染者', '累计死亡']
    writer = csv.DictWriter(fp2, header)
    for ss in list1:
        if ss!=[]:
            writer.writerow(ss)
        else:
            continue

# 向数据库的指定数据表插入数据，这里已经提前创建好数据库
import pymysql
try:
    db=pymysql.connect(
        host='localhost',           # 数据库服务器ip,Windows上的数据库,使用回环ip或者localhost
        user='root',                # 用户
        password='********',        # 登录密码
        port=3306,                  # 端口号，默认3306
        db='baiduyiqing'            # 数据库名
    )

    print(db)       # 获取数据库连接对象
    # 获取一个游标对象
    with db.cursor() as cursor:
        sql='insert into yiqing(`省份`,`城市`,`累计确诊`,`当前确诊`,`新增无症状感染者`,`累计死亡`) values(%s,%s,%s,%s,%s,%s)'
        # 执行sql语句
        for s in list1:
            # 字段是一个元组
            affected_row=cursor.execute(sql,(s['省份'],s['城市'],s['累计确诊'],s['当前确诊'],s['新增无症状感染者'],s['累计死亡']))
            if affected_row==1:
                db.commit()
except pymysql.MySQLError as e:
# 如果错误 回滚 恢复到操作前的状态
    db.rollback()
    print(e)
finally:
    db.close()

3.写入CSV文件：

4.写入MySQL数据库：（数据很多并没有完全展示）