DataFrame写入 MySQL（create_engine）

最新推荐文章于 2024-05-17 12:25:37 发布
原创 最新推荐文章于 2024-05-17 12:25:37 发布 · 979 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍如何使用Python的pymysql库连接MySQL数据库，并利用Pandas库将DataFrame数据写入MySQL。通过具体实例，展示从数据库读取数据到DataFrame，以及将DataFrame数据保存到数据库的全过程。

参考：
Python连接MySQL数据库（pymysql），DataFrame写入 MySQL（create_engine）- Python代码
https://blog.youkuaiyun.com/weixin_40683253/article/details/86741134

Pandas DataFrame数据写入文件和数据库
https://blog.youkuaiyun.com/dta0502/article/details/81876224?utm_source=blogxgwz6

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

hellenlee22
关注
Python实现将DataFrame写入Mysql
杨鑫newlife的专栏
07-26 1万+
# -*- coding:utf-8 -*- __author__ = 'yangxin_ryan' from sqlalchemy import create_engine import pandas as pd # MySQLUtil include: # df_write_mysql -> DataFrame write into mysql xx database xx ta...
Python 连接 MySQL 数据库
qqgg0216的博客
10-31 728
在实际数据分析和建模过程中，我们通常需要从数据库中读取数据，并将其转化为 Pandas dataframe 对象进行进一步处理。而 MySQL 数据库是最常用的关系型数据库之一，因此在 Python 中如何连接 MySQL 数据库并查询数据成为了一个重要的问题。本文将介绍两种方法来连接 MySQL 数据库，并将查询结果转化为 Pandas dataframe 对象：第一种方法使用 pymysql 库来连接 MySQL 数据库；
1、MySQL：初识数据库和命令行
Surplus.的博客
09-17 198
文章目录1、数据库分类1、关系型数据库（SQL）2、非关系型数据库（NoSQL）2、MySQL简介3、常用命令行4、语言种类 1、数据库分类 1、关系型数据库（SQL） MySQL,Oracle,Sql Server,DB2,SQLlite 通过表和表之间，行和列之间的关系进行数据的存储 2、非关系型数据库（NoSQL） Redis，MongDB 非关系型数据库，对象储存，通过对象的自身属性来决定 DBMS（数据库管理系统） 数据库的管理软件，科学有效的管理我们的数据，维护和获取数据 MySQL
Python连接MySQL数据库（pymysql），DataFrame写入 MySQL（create_engine）- Python代码
黄饱饱
02-01 1万+
模块安装 使用以下命令安装 PyMySQL： $ pip install PyMySQL 若系统不支持 pip，还可以这样安装： $ git clone https://github.com/PyMySQL/PyMySQL $ cd PyMySQL/ $ python3 setup.py install   Python连接MySQL数据库 # -*- coding:utf-8...
create engine mysql_sqlalchemy，将MySQL字符集设置为“create_engine”argumen
weixin_39765325的博客
01-19 1979
我创建了连接到MySQL数据库的sqlalchemy引擎。我想指定charset作为^{}参数。如果我这样使用create_engine：create_engine('mysql+mysqldb://pd:pd@localhost/pd?charset=utf8')那一切都好。但是，当我这样使用它时：create_engine('mysql+mysqldb://pd:pd@localhost/pd...
python连接MySQL使用
u014694915的博客
05-17 5272
其中，username 和 password 分别表示登录 MySQL 数据库所需的用户名和密码，host 和 port 表示 MySQL 数据库的主机名和端口号，database 表示要连接的 MySQL 数据库名称。除了使用 pymysql 库连接 MySQL 数据库之外，我们还可以使用 SQLAlchemy 的 create_engine 函数创建 MySQL 数据库连接引擎，并使用 Pandas 库中的 read_sql 函数直接将查询结果转化为 Pandas dataframe 对象。
Pandas 中的 SQLAlchemy ，create_engine清理数据库连接，pandas读取及存储MySQL
qq_15821487的博客
10-15 6903
用时 sqlalchemy与 Pandas read_sql_query(query, con)方法，它将创建一个 SQLDatabase具有属性的对象 connectable至 self.connectable.execute(query) .和 SQLDatabase.connectable被初始化为 con只要it is an instance of sqlalchemy.engine.Connectable (即 Engine and Connection )。 案例一:路过时Engine对象为
2021_w_.1.python 驱动MySQLdb（create_engine）代码.pdf
12-16
`write_data_in_db`函数将DataFrame写入数据库的特定表中。它使用`to_sql`方法将DataFrame对象写入数据库，参数包括表名、数据库连接、如果表已存在则覆盖（`if_exists='replace'`）和是否包含索引（`index=False`）...
import pandas as pd from sqlalchemy import create_engine, DateTime # 读取 Excel 文件并转换时间格式 temp = pd.read_excel(r"D:\pythonProject\pythonProject1\数据\2月安规.xlsx") temp['checktime'] = pd.to_datetime(temp['checktime'], format='%Y/ %m/ %d/ %H/ %M/ %S') print(temp) # 创建 MySQL 连接 password = '123456' engine = create_engine(f'mysql+pymysql://root:{password}@localhost:3306/test?charset=utf8') # 将 DataFrame 写入 MySQL 数据库 with engine.connect() as conn, conn.begin(): temp.to_sql(name='environment_safeinspt', con=conn, if_exists='append', index=False, dtype={'checktime': DateTime()} ) print("写入成功！")帮我修改
05-30
你的代码已经很接近正确了，只需要稍作修改就可以实现将 DataFrame 写入 MySQL 数据库。以下是修改后的代码： ```python import pandas as pd from sqlalchemy import create_engine, DateTime # 读取 Excel 文件...
import pandas as pd from sqlalchemy import create_engine from psycopg2.extras import execute_batch def data_migration(): # MySQL连接配置 mysql_engine = create_engine( 'mysql+pymysql://root:123456@localhost:3306/mydbtest?charset=utf8mb4', pool_pre_ping=True, connect_args={'init_command': 'SET NAMES utf8mb4'} ) # PostgreSQL连接配置 pg_engine = create_engine( 'postgresql+psycopg2://postgres:123456@localhost:5432/public', connect_args={'options': '-c client_encoding=UTF8'} ) try: # 分块读取MySQL数据 chunk_size = 50000 for chunk in pd.read_sql_table( 'table_batch_test', con=mysql_engine, chunksize=chunk_size ): # 类型转换处理 # chunk['date_column'] = pd.to_datetime(chunk['date_column']) # 批量写入PostgreSQL chunk.to_sql( 'table_batch_test', con=pg_engine, if_exists='append', index=False, method='multi' ) except Exception as e: print(f"迁移失败: {str(e)}") finally: mysql_engine.dispose() pg_engine.dispose() if __name__ == "__main__": data_migration() 迁移失败: 'utf-8' codec can't decode byte 0xd6 in position 61: invalid continuation byte
最新发布
07-26
mysql_engine = create_engine('mysql+pymysql://user:password@host:3306/dbname?charset=latin1') ``` #### 2. 使用 pandas 读取时指定编码 如果数据通过 `pandas.read_sql` 加载到 DataFrame 中，可以尝试在读取...
python把数据框写入MySQL
帅帅de三叔
10-12 2418
python把数据框写入MySQL背景完整代码 背景 手里头有一份上海市2016年9月1日公共交通卡刷卡数据 想做一下上海市通勤数据挖掘，由于源文件有800多兆，用python读取起来很慢很卡，于是想导入数据库MySQL里面处理，以前一般是打开workbench可视化操作导入数据库，这次想换成代码实现，于是琢磨着如何把这个csv文件用python导进去。 经过了解，python把数据框写入数据框...
Python 连接MySQL
weixin_42625143的博客
07-11 3172
前言 数据库技术(例如MySQL)在气象业务和其他商业行业中都有着广泛的应用，气象与电网结合的大项目甚至都用上了hadoop分布式存储Hadoop中的Hive组件和数据库在语法上高度相似。 传统运行mysql脚本的方法是在一些流行的IDE中运行，比如Mysql8.0自带的 workbench,还有DBeaver等。 PyMySQL是在Python3.x版本中用于连接MySQL服务器的一个库，Pyt...
Python中使用SQLAlchemy连接Mysql数据库（单表操作）
热门推荐
勿忘初心,方得始终
05-09 1万+
一，SQLAlchemy的安装 使用$ easy_install sqlalchemy 或 $ pip install sqlalchemy如果出现什么错，就进去root用户下进行安装试试，或者网上查查>>> import sqlalchemy >>> 这样说明成功了，切记是小写哦 二，使用 理论我也不懂，自己查查资料，现在用一个小的案例说一下使用步骤 1，在进行数据
Pandas操作数据库新建表&增加现有表数据
denglinglin2653的博客
08-26 1081
1、连接数据库 import pandas as pd import pymysql from sqlalchemy import create_engine engine = create_engine('mysql+mysqlconnector://root:admin@localhost:3306/nodb') 2、新增表 创建一个DataFrame对象 ...
sqlalchemy中create_engine用法
wuxi_joe的专栏
12-25 5009
Database Urls The create_engine() function produces an Engine object based on a URL. These URLs follow RFC-1738, and usually can include username, password, hostname, database name as well as optiona...
Python MySQL 两种方式连接数据库pymysql/sqlalchemy连接mysql数据库
Archie优快云的博客
10-29 1230
Python MySQL 两种方式连接数据库pymysql/sqlalchemy连接mysql数据库
爬虫数据写入到文件 与入库
every place is the center of the universe
02-19 943
保存数据 1.先判断文件是否存在 2.1存在则先读再拼接，再存储 2.2不存在直接读取 csv pd.read_csv('.csv') data.to_csv(index=False) json import json def save_to_json(json_data_list): if os.path.exists("selinum_data_test.json"): # 保存文件 with open("selinum_data_test.json", "r", encod
sqlalchemy的增删，插入更新
Zxt2004的博客
12-20 1605
sqlalchemy的增删，插入更新
python-create_engine插入数据库编码问题-20230831
xiuxiuxiu666的博客
08-31 558
报错：UnicodeEncodeError: ‘charmap’ codec can’t encode characters in position 82-83: character maps to。去pypi下载一个合适的mysqlclient放到anaconda的sitepackage下面即可。另：今天create_engine刚开始用的时候会报找不到mysqldb的问题。发现之前还有好多linux设置定时任务的小技巧没有整理上来。一年没打鱼了，争取后面4个月疯狂收割 ：)
用python把dataframe写入mysql
05-21
### 如何使用 Python 将 Pandas DataFrame 写入 MySQL 数据库 要将 Pandas DataFrame 的数据写入 MySQL 数据库，可以通过 SQLAlchemy 和 `pandas.DataFrame.to_sql()` 方法实现。以下是详细的说明和代码示例： #### 使用 SQLAlchemy 连接到 MySQL SQLAlchemy 是一个功能强大的 ORM（对象关系映射）工具包，用于简化数据库交互操作。通过定义连接 URL 并创建引擎实例，可以轻松地与 MySQL 建立通信。 ```python from sqlalchemy import create_engine import pandas as pd # 定义数据库连接字符串 connect_url = 'mysql+pymysql://username:password@host:port/database_name?charset=utf8' # 创建数据库引擎 engine = create_engine(connect_url) ``` 在此处替换 `username`, `password`, `host`, `port`, 和 `database_name` 为实际的数据库凭证[^2]。 #### 准备 Pandas DataFrame 假设有一个已存在的 Pandas DataFrame 名称为 `df`，其内容如下所示： ```python data = { 'id': [1, 2, 3], 'name': ['Alice', 'Bob', 'Charlie'], 'age': [25, 30, 35] } df = pd.DataFrame(data) ``` 这个 DataFrame 可以表示任何结构化的表格型数据集合。 #### 将 DataFrame 写入 MySQL 表 调用 `to_sql()` 方法即可完成向指定表名的数据插入动作。如果目标表不存在，则会自动生成；若存在则依据设定的行为决定覆盖还是追加记录。 ```python table_name = 'example_table' # 替换为目标表名称 # 写入数据到 MySQL df.to_sql(name=table_name, con=engine, if_exists='append', index=False) print(f"Data successfully written to {table_name}") ``` 这段脚本中的 `if_exists='append'` 参数指示当目标表已经存在的情况下采取追加模式而不是替换整个表的内容[^1]。另外设置了 `index=False` 来防止额外索引列被加入到最终结果集中。 --- ### 注意事项 - **异常处理**：建议增加适当的错误捕捉机制来增强程序健壮性。 - **性能考虑**：对于非常庞大的数据集来说，可能需要分批次提交事务以防内存溢出等问题发生。 - **安全性提示**：生产环境中应避免硬编码敏感信息比如密码等，可借助环境变量或其他安全存储手段加以保护。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值