python爬取的csv文件数据导入mysql数据库

最新推荐文章于 2024-05-02 15:04:24 发布

原创最新推荐文章于 2024-05-02 15:04:24 发布 · 3.2k 阅读

28 ·

CC 4.0 BY-SA版权

文章标签：

#csv #mysql #爬虫

爬虫专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种将Python爬虫获取的CSV文件数据批量导入MySQL数据库的方法。通过使用pandas库进行数据处理，并结合pymysql实现数据的高效导入。

将python爬取的csv文件数据导入mysql数据库
爬虫有些爬取的文件有时候喜欢保存成csv文件格式，然后直接可以在excel表查看等比较直观，现在需要把有些数据保存到数据库，就可以用到如下方法，写的比较简单。
csv文件使用pandas 处理比较快速方便。用之前需要安装pip install pandas

import pandas as pd
import pymysql

#读取数据
test_data = pd.read_csv(r'pyill/pyillTextData.csv')
test_data.head()
#连接数据库
db = pymysql.connect(host="IP",user="数据库用户名", passwd="密码",db="要连接那个数据库",charset='utf8')
#定义操作函数
def insert_test_data():
    liData = []
    num = 0 
    cursor = db.cursor()
    # 利用shape的第一个元素来获取数据的数量
    for i in range(0,test_data.shape[0]):
        # 获取第每行数据
        line_data = test_data.iloc[i]
         #读取第每行中每列数据
        value = (str(line_data[0]),str(line_data[1]),str(line_data[2]),str(line_data[3]))
        liData.append(value)
        num +=1
        if num==10000:
            sql = "INSERT INTO crv(crv_id,cate_id,store_id,crv_price)VALUES(%s,%s,%s,%s)"
            cursor.executemany(sql, liData)  # 执行sql语句
            db.commit()
            num = 0  # 计数归零
            liData.clear()  # 清空list


    cursor.close()
    db.close()
#执行函数 
insert_test_data()