Pandas读取Excel文件,存入Mysql踩坑汇总

本文总结了使用Python Pandas将Excel数据导入MySQL时遇到的两种异常及解决方法。包括sqlalchemy链接异常,由于数据库密码包含@特殊字符导致的问题,以及Dataframe数据结构异常,解决数据插入时因索引表头对不上数据库结构的设计问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前言

  在折腾数据方面的整理分析业务,数据保存在Excel文件中,调用查看各种不方便。想着导入到Mysql数据库中。图形化操作,直观,方便,还简单。幸运的是Navicat自带了直接导入Excel文件的功能选项。麻烦的是,每次更新数据,需要手动清空旧数据重新操作一下导入流程。(后来发现,直接导入也可以,有更新替换的选项)
  So,操作导入Excel的流程用久了也觉得有点繁琐。(谁让我这么懒呢)想着能做一个自动化脚本,直接一键导入数据,减少操作流程。

  简单的想法是:逐行读取Excel的数据,在数据库中设定好主键字段,单条存入Mysql中,效率快一点的批量存入也是可行。这样是最普通的想法。代码的繁琐度会高一点。

  找了找资料,Python的Pandas库在数据处理方面有着极强的优势,可以直接读取Excel,Dataframe结构能直接存入数据库,不用在做多余操作。OK就是你了。

异常汇总:
1.sqlalchemy的链接异常。
2.Dataframe数据结构异常。

解决异常

NO.1 sqlalchemy的链接异常。

  Pandas中支持Dataframe直接存入Mysql的函数to_sql(),它的参数是这样的:
在这里插入图片描述
  其中name是目标数据库,con是与数据库的链接。if_exists表示数据入库的方式默认是fail。

源码中对于参数的介绍是这样的:

Excel文件数据导入到MySQL数据库通常涉及几个步骤: 1. **数据准备**: 首先,你需要确保Excel文件包含结构化的数据,如表格形式,每一列对应数据库表的一个字段。 2. **读取Excel文件**: 可以使用Pythonpandas库来读取Excel文件,例如: ```python import pandas as pd df = pd.read_excel('your_file.xlsx') ``` 3. **清洗和转换数据**: 根据需要对数据进行处理,比如数据清洗、数据类型转换等。 4. **连接数据库**: 使用Python的`mysql-connector-python`库连接到MySQL服务器,例如: ```python import mysql.connector cnx = mysql.connector.connect(user='username', password='password', host='localhost', database='your_database') ``` 5. **创建表或检查是否存在**: 如果表不存在,你可以创建一个新表,如果存在则跳过此步骤。创建SQL命令可以是这样的: ```sql create table if not exists your_table (column1 datatype, column2 datatype); ``` 6. **插入数据**: 使用`cursor`对象将DataFrame的数据行逐条插入数据库: ```python cursor = cnx.cursor() for index, row in df.iterrows(): sql = "INSERT INTO your_table VALUES (%s, %s)" % tuple(row) cursor.execute(sql) ``` 7. **提交事务关闭连接**: 最后,记得提交事务关闭连接: ```python cnx.commit() cursor.close() cnx.close() ``` 如果你初次尝试或有复杂的导入需求,可能会需要用到更专业的ETL工具(如Python的`sqlalchemy`或第三方库),它们能提供更强大的数据操作功能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值