使用sqlalchemy包将pandas的DataFrame数据写入MySQL数据库

最新推荐文章于 2025-10-02 10:36:07 发布

原创最新推荐文章于 2025-10-02 10:36:07 发布 · 4.5k 阅读

7 ·

CC 4.0 BY-SA版权

本文介绍了使用Python的SQLAlchemy库连接MySQL数据库的两种方法，并演示了如何将DataFrame数据写入MySQL表中。提供了使用pymysql和mysqldb驱动的具体示例。

from sqlalchemy import create_engine

sqlalchemy链接mysql有多个办法
选择 1
engine = create_engine('mysql+pymysql://用户名:密码@127.0.0.1:端口号3306/数据库名?charset=utf8')
或者选择2

engine = create_engine('mysql+mysqldb://用户名:密码@127.0.0.1:端口号3306/数据库名?charset=utf8')

df.to_sql(目标表名,con=engine, schema=数据库名, index=False, index_label=False, if_exists='append', chunksize=1000)

favor = ‘mysql’ 会报不建议，丢提示用，所以建议去掉这个入参

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

pafei

关注关注

0
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

pandas将dataframe数据导入MySQL

Cachel Wood的博客

07-16

2321

创建数据库test和table。

使用SQLAlchemy把pandas数据写入数据库，顺便处理mysql连接串包含@等特殊字符的报错

cuijiekun的博客

03-29

2362

使用SQLAlchemy把pandas数据写入数据库，顺便处理mysql连接串包含@等特殊字符的报错

参与评论您还未登录，请先登录后发表或查看评论

pandas + sqlalchemy mysql

u014033218的专栏

07-22

2218

Quick Tip: SQLAlchemy for MySQL and Pandas Before we get into theSQLAlchemy aspects, let’s take a second to look at how to connect to a SQL database with the mysql-python connector (or at least take...

SQLAlchemy+pandas_MySql数据库操作

weixin_51303362的博客

06-22

1324

pandas mysql python sqlalchemy

Python BeautifulSoup 使用教程

最新发布

lizhengyu891231的博客

10-02

271

Python BeautifulSoup 使用教程

【MySQL】dataframe写入数据库

eerywh的博客

01-14

454

将dataframe写入MySQL数据库 from sqlalchemy import create_engine engine = create_engine( 'mysql+pymysql://root:root@127.0.0.1:3306/database?charset=utf8') df.to_sql('tablename',con = engine,schema = 'database',index=False, if_exists='re

sqlalchemy mysql_SQLALCHEMY+PANDAS

weixin_39617497的博客

11-26

131

# sqlalchemy默认使用mysql-python作为链接驱动，为Default模式

pandas写入mysql_使用SQLAlchemy使用pandas写入MySQL数据库

weixin_42503069的博客

01-19

622

尝试使用to_sql将pandas数据帧写入MySQL表。以前使用过flavor='mysql'，但是将来会贬值，希望开始过渡到使用SQLAlchemy引擎。示例代码：import pandas as pdimport mysql.connectorfrom sqlalchemy import create_engineengine = create_engine('mysql+mysqlconn...

精选资源

pandas连接数据库，从数据库读取数据，将数据保存到数据库

01-20

而当我们需要处理的数据存储在数据库中时，`pandas`提供了便捷的接口来连接数据库、读取数据以及将数据写入数据库。在本例中，我们将深入探讨如何使用`pandas`连接MySQL数据库，并进行数据的读取和保存。首先，...

pandas实现to_sql将DataFrame保存到数据库中

12-26

或者我们有一个中间的结果，如果放到数据库中通过sql操作会更加的直观，处理后再将结果读取到DataFrame中。这两个场景，就需要用到DataFrame的to_sql操作。具体的操作连接数据库代码 import pandas as pd from ...

mysql和pandas_小窍门：为MySQL和Pandas准备的SQLAlchemy

weixin_34381073的博客

01-30

247

Python部落(python.freelycode.com)组织翻译，禁止转载，欢迎转发。多年来我一直使用mysql-python库来连接mysql数据库。这些年来它对我很有用。但有时你需要有更快的速度或使用mysql-python时有更好的连接管理。这就是SQLAlchemy的用武之地。在深入研究之前，如果你正在做那些不怎么依赖于速度的事情(例如：你并不关心花了1秒钟来连接数据库、操作数据、关...

sqlalchemy mysql配置中怎么设置utf8_flask_sqlalchemy使用设置UTF8无效

weixin_39609071的博客

01-30

362

运行环境click==6.7Flask==0.12.2Flask-MySQLdb==0.2.0Flask-SQLAlchemy==2.3.2itsdangerous==0.24Jinja2==2.10MarkupSafe==1.0mysqlclient==1.3.12PyMySQL==0.8.0SQLAlchemy==1.2.4Werkzeug==0.14.1from flask import F...

pandas使用dataframe读写mysql数据库

呆萌的代Ma

07-23

1201

写入数据库 首先要安装依赖包： pip install -i https://mirrors.aliyun.com/pypi/simple/ pymysql pip install -i https://mirrors.aliyun.com/pypi/simple/ sqlalchemy 写入案例比如写入文件test_csv.csv: ,col_1,col_2,col_3,col_4 row_1,a,1,1.1,这是第1行数据 row_2,b,2,2.2,这是第2行数据 row_3,c,3,3.3,这是

如何正确将python的DataFrame格式数据导入到mysql数据库

09-23

9697

如何正确将DataFrame格式数据导入到mysql数据库 读取数据库的操作和将数据写入到数据库还是有点不一样的将DataFrame格式数据导入到mysql数据库，采用create_engine（）方法： from sqlalchemy import create_engine # create_engine('mysql+pymysql://用户名:密码@主机/库名?charset=utf8'...

2.Python连接MySQL，进行DataFrame操作

qq_37289831的博客

05-27

1359

准备工作：配置好MySQL环境，详细可见https://blog.youkuaiyun.com/qq_37289831/article/details/90610358 1、安装库SQLAlchemy、pymysql 2、 import pymysql from sqlalchemy import create_engine 3、 #create_engine("数据库类型+数据库驱动://数据库用户名:数...

SQLAlchemy将Tushare数据写入数据库

weixin_44178352的博客

05-14

465

注册tushare，获取token 链接注册入口引入SQLAlchemy，Pandas import tushare as ts import pandas as ps from sqlalchemy import create_engine ts.set_token('your token') pro = ts.pro_api() data = pro.stock_basic(exchange='', list_status='L', fields='ts_code,symbol,nam..

使用 sqlalchemy

被遗忘的遐想空间

07-05

846

使用 sqlalchemy 有3种方式: 方式1, 使用raw sql; 方式2, 使用SqlAlchemy的sql expression; 方式3, 使用ORM. 前两种方式可以统称为 core 方式. 本文讲解 core 方式访问数据库, 不涉及 ORM. 对于绝大多数应用, 推荐使用 SqlAlchemy. 即使是使用raw sql, SqlAlchemy 也可以带来

sqlalchemy的使用

weixin_43959953的博客

12-29

398

sqlalchemy的使用 orm模型 object relationship map 模型对象关联映射模型,意思就是把数据库中的表的相关结构映射成代码中的关系表名 —>类名字段 —>类属性记录 —>实例化对象这种模型的优势在于在程序中进行查询非常方便,省去了写原生的sql语句创建表与连接表我们操作的程序是停留在程序层面,它本身是无法进行数据库的操作的,数据库存在自...

tushare

Maple丶峰

08-23

3629

tushare

用pandas的dataframe写入MySQL数据库，怎么在写入MySQL数据库的时候，以某一列为依据，判断如果数据库有重复的数则替换或更新数据，没有重复的数则插入数据

08-16

在使用 `pandas` 的 `DataFrame` 写入 MySQL 数据库时，如果希望根据某一列判断是否重复，并执行“存在则更新，不存在则插入”的操作（即实现 **UPSERT**），可以结合 `pandas` 和 SQLAlchemy 的数据库操作来完成。 ### ✅ 解决方案： 1. 使用 `pandas.DataFrame.to_sql()` 将数据写入数据库临时表。 2. 使用原生 SQL 的 `INSERT INTO ... ON DUPLICATE KEY UPDATE` 语句将临时表数据合并到目标表。 3. 确保用于判断重复的列在目标表中设置了 **主键或唯一约束**。 ### ✅ 示例代码： ```python import pandas as pd from sqlalchemy import create_engine # 创建数据库连接（请替换为你的实际数据库信息） engine = create_engine('mysql+pymysql://username:password@host:port/database') # 示例 DataFrame df = pd.DataFrame({ 'id': [1, 2, 3], 'name': ['Alice', 'Bob', 'Charlie'] }) # 将 DataFrame 写入临时表 df.to_sql(name='temp_table', con=engine, if_exists='replace', index=False) # 使用 SQL 实现 UPSERT 操作 with engine.connect() as conn: conn.execute(""" INSERT INTO your_table (id, name) SELECT id, name FROM temp_table ON DUPLICATE KEY UPDATE name = VALUES(name) """) conn.execute("DROP TABLE temp_table") # 删除临时表 ``` ### 🔍 说明： - `your_table` 是目标表名。 - `id` 是用于判断是否重复的列，必须是主键或唯一索引。 - `ON DUPLICATE KEY UPDATE name = VALUES(name)` 表示当 `id` 冲突时更新 `name` 字段。 - `VALUES(name)` 表示插入时传入的值。 --- ### ✅ 注意事项： - 确保目标表 `your_table` 中用于判断重复的列（如 `id`）已设置为主键或唯一索引。 - 如果需要更新多个字段，可以扩展 `ON DUPLICATE KEY UPDATE` 后的字段列表。 - 如果数据量较大，建议添加事务控制或分批处理。 ---