dataframe 插入mysql报错mysqlpymysql.err.OperationalError: (2006, “MySQL server has gone away (Connection

肉装法师

已于 2022-08-23 08:52:47 修改

阅读量412

点赞数

分类专栏： Mysql python 文章标签： mysql 数据库 java

于 2022-07-13 16:49:50 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_41772761/article/details/125767462

版权

python 同时被 2 个专栏收录

21 篇文章

订阅专栏

Mysql

19 篇文章

订阅专栏

一个简单的执行dataframe数据插入mysql
data.to_sql('xxx', engine, if_exists='append', index=False)

mysql一个字段内文本较长超过4m导致dataframe存入mysql报错：

mysqlpymysql.err.OperationalError: (2006, "MySQL server has gone away (ConnectionAbortedE …

调大mysql配置临时 | 改my.cnf

show VARIABLES like '%max_allowed_packet%';
set global max_allowed_packet = 1024*1024*32;

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

肉装法师

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

正确解决pymysql.err.IntegrityError: (1062, ‘‘)异常的有效解决方法

wbajsjhhhhh的博客

05-01

3370

正确解决pymysql.err.IntegrityError: (1062, '')异常的有效解决方法

pycharm pandas 经典报错 pandas.core.base.SpecificationError: nested renamer is not supported

lavender_dream的博客

11-26

2845

文章目录前言pandas.core.base.SpecificationError: nested renamer is not supported 报错代码段 && 解决方案报错及代码段解决方案吐司 + 芝士 === 简单的快乐，sincerely，end. 前言为了统计词频，出现的报错，最终成功解决，如有错误，请纠正，万分感谢！ pandas.core.base.SpecificationError: nested renamer is not supported 报错

参与评论您还未登录，请先登录后发表或查看评论

dataframe写入mysql

Dogtailang的博客

06-13

5895

1.创建dataframeimport pandas as pddata1=pd.DataFrame(np.arange(16).reshape(4,4),index=list('abcd'),columns=list('xyzw'))创建dataframe格式的文件data12.写入数据from sqlalchemy import create_engine engine = create_en...

pymysql.err.operationalerror: (2006, "MySQL server has gone away (ConnectionResetError(10054, '远程主机强

Joy的博客

05-11

9185

错误：pymysql.err.operationalerror: (2006, "MySQL server has gone away (ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))")错误原因：是因为我在程序中写了一个睡眠10小时，而数据库默认8小时不从数据库取数据则断开连接，如下图中的interacti...

pymysql.err.OperationalError: (2006, “MySQL server has gone away (BrokenPipe

独孤清扬玩DB

03-17

1万+

第一种情况：真的是连接数据库超时导致，比较常见在使用python+Django写项目时，需要用到定时任务apscheduler，但服务在长时间运行时，定时任务会报错pymysql.err.OperationalError: (2006, "MySQL server has gone away (BrokenPipeError(32, 'Broken pipe'))") 如下图所示，此时，我们可以通过如下方法解决，一共有三个地方。图一这个报错出现的原因：操作MySQL数据库的时候，连接超时或

DataFrame 对象导入mysql数据库

ak_bingbing的博客

11-06

3136

在数据分析和处理过程中，将 DataFrame 数据导入数据库是一个常见的任务。本文将提供一个完整的指南，介绍如何将 DataFrame 类型的数据导入到数据库中。我们将使用 Python 中的 pandas 和 SQLAlchemy 库来实现这一目标。

dataframe 写入mysql

BUPT-WT的博客

06-10

356

【代码】dataframe 写入mysql。

解决pymysql.err.InternalError: (1054, "Unknown column 'nan' in 'field list'") 的问题

热门推荐

zaishijizhidian的博客

05-23

2万+

在使用pandas过程中，演讲数据转化成DataFrame格式，但是里边的缺失项会被NAN填充，如果数值是NAN 在将数据写入mysql 时会出现如下错误：可以将DataFrame中的NAN数据用none填充df2 = df.astype(object).where(pd.notnull(df), None)转化之后的df2 数据如下：之后就不会出现报错了。...

处理dataframe遇到pandas.core.indexing.IndexingError: Too many indexers

dingbangchu的博客

09-26

4093

这是一个待解决的问题，主要还是引发自：pandas.dataframe数据格式为什么不能用除列名以外的方式定位到列（也有可能是我不知道！）。有人可能说可以用索引，但是！返回的并不是series类型，就算是，也没法计算，求求大神帮看看！背景：一个自动化脚本，需要用已有的两列计算环比后生成新的一列 df_asset_week["vsLastWeek"]=df_asset_week.apply(lambda x: (x['2021-09-20']-x['2021-09-13'])/x['2021-09-13

PySpark访问MySQL失败：java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

枫叶的落寞的博客

06-06

4525

PySpark访问MySQL失败：java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

pandas dataframe的APIto_sql写入mysql时，报错：Incorrect string value

hzlil的博客

07-16

407

当使用pandas的to_sql方法将数据框中的数据存储到MySQL数据库时，有时会遇到"Incorrect string value"的错误。完成上述步骤后，再次尝试使用pandas的to_sql方法将数据存储到MySQL数据库，应该不再出现"Incorrect string value"的错误。注意替换"your_database_name"为你的数据库名称。注意替换"your_table_name"为你的表名称。注意替换"your_table_name"为你的表名称。首先，登录到MySQL数据库。

python 解决 "MySQL server has gone away"

TauCrus的博客

04-18

5234

最近用python实现了web服务遇到了一个问题，第一天可以正常请求服务，第二天就可以请求就失败，重启服务后，又能正常访问，查看日志发现如下报错内容 pymysql.err.OperationalError: (2006, "MySQL server has gone away (ConnectionResetError(104, 'Connection reset by peer'))") 查了...

DataFrame存到MySQL，报错：pymysql.err.DataError: (1406, "Data too long for column 'developer' at row 250")

zx_1997的博客

05-07

442

今天在将DataFrame存到MySQL时一直报错： pymysql.err.DataError: (1406, “Data too long for column ‘developer’ at row 250”) 先放代码： df = pd.read_csv('E:\AllWorkSpace\python_workspace\FM\\apps0507.csv') print(df) # 将数据写...

mysql 2006 python_记录一次Python连接mysql踩坑过程：(pymysql.err.OperationalError) (2006, "MySQL server has gone...

weixin_36402765的博客

01-25

864

踩坑过程服务器部署了一个flask-apscheduler的定时任务项目，每天的几个时间点会自动推送消息或者跑任务。但经过一段时间后，发现有几个任务莫名其妙的没有运行，其他任务又可以正常运行。排查下来也不是代码问题，因为其他任务可以跑，就一两个任务不行，反复排查问题无果。后面在网上找原因，提示说可以在flask-apscheduler项目中增加log来排查，我在项目入口监听了log，果不其然，发现...

mysql 2006 python_记录一次Python连接mysql踩坑过程：(pymysql.err.OperationalError) (2006,

weixin_39723248的博客

01-27

356

pymysql.err.OperationalError: (2006, “MySQL server has gone away (TimeoutError(110, ‘Connection time

IT之一小佬的博客

06-30

3252

pymysql.err.OperationalError: (2006, “MySQL server has gone away (TimeoutError(110, ‘Connection timed out’))”)

DataFrame数据保存到mysql数据库中

02-22

6747

创建数据库 数据库创建表 数据库批量插入数据 数据库更新数据 数据库配置 class sqlConfig: db_name = "test_db" # 数据库名 db_user = "root" # 用户名 db_host = "localhost" # IP地址 db_port = 3306 # 端口号 db_passwd = "1202" #

编程实现利用DataFrame读写MySQL的数据

m0_60946919的博客

05-31

2000

通过对比MySQL8.0和MySQL5.7了解了mysql8.0更改了validate_password_policy相关的配置名称，这使得修改密码时。密码设置必须要大小写字母数字和特殊符号（,/';:等）,不然不能配置成功，如果想使用简单的密码，可以修改MySQL8.0的密码策略。编程中也遇到很多问题，如:在安装mysql时报错源……的GPG密钥已安装，但不适用于此安装包。请检查源的公钥URL是否配置正确。解决办法是输入如下命令:具体可以参考我的另一篇博客。

将Pandas中DataFrame结构的数据存入MySQL数据库中

weixin_41104174的博客

12-15

515

将DataFrame格式的数据通过df.to_sql保存至MySQL数据库中

pymysql.err.ProgrammingError: (1064, "You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'PRIMARY KEY (自编码)' at line 4")

最新发布

05-09

### 解决 pymysql.err.ProgrammingError (1064) 和指定第一列为 MySQL 表主键的方法 #### 错误原因分析 `pymysql.err.ProgrammingError: (1064, "You have an error in your SQL syntax")` 是由于 SQL 语句语法不符合 MySQL 的标准所引发的错误。通常这种问题可能是由以下几种情况引起的： - 默认值设置不当，例如使用双引号而非单引号包裹字符串[^1]。 - 数据库版本与框架（如 Django 或 SQLAlchemy）之间的兼容性问题[^3]。 - 创建表时主键定义有误或缺失必要的关键字。 --- #### 修改后的 SQL 语句示例针对原始代码中的 `create_sql` 部分进行了调整，确保默认值使用单引号 `' '` 而非其他形式，并明确指定了第一列 (`user_id`) 为主键： ```python create_sql = """ CREATE TABLE IF NOT EXISTS user ( user_id INT(10) UNSIGNED AUTO_INCREMENT, user_name VARCHAR(30) NOT NULL DEFAULT ' ', user_nickname VARCHAR(30) NOT NULL DEFAULT ' ', user_postbox VARCHAR(30) NOT NULL DEFAULT ' ', user_phonenumber VARCHAR(11) NOT NULL DEFAULT ' ', user_password VARCHAR(100) NOT NULL DEFAULT ' ', PRIMARY KEY (user_id) ); """ ``` 在此修正版中注意到了几个关键点： - 所有的默认值均采用单引号包裹的形式，避免了因转义字符或其他特殊符号引起的问题[^1]。 - 明确指出 `PRIMARY KEY (user_id)` 来设定第一个字段作为自增型主键。 --- #### 使用 pymysql 插入数据到 MySQL 中的例子下面展示了一种安全的方式通过 pymysql 向上述创建好的表格里插入新纪录： ```python import pymysql connection = pymysql.connect( host='localhost', user='root', password='password', database='test_db' ) try: with connection.cursor() as cursor: sql_insert = """ INSERT INTO user(user_name, user_nickname, user_postbox, user_phonenumber, user_password) VALUES (%s, %s, %s, %s, %s) """ values_to_insert = ('John Doe', 'JD', 'john@example.com', '1234567890', 'hashed_password_123') cursor.execute(sql_insert, values_to_insert) connection.commit() finally: connection.close() ``` 这里采用了占位符 `%s` 替代直接拼接字符串进入查询串内的做法，从而有效预防 SQL 注射攻击的同时也减少了手写复杂表达式的负担。 --- #### 结合 Pandas DataFrame 及 SQLite 主键配置对于原提问提到关于如何在 SQLite 下利用 `to_sql()` 函数同时设立首列为唯一标识符的情况，可参考先前提供的实例稍作修改即可达成目的: ```python def setup_primary_key(df, conn, table_name): # Drop existing table if it exists. drop_table_query = f"DROP TABLE IF EXISTS {table_name};" conn.execute(drop_table_query) # Create new table structure specifying first column as primary key. columns_definition = ", ".join([f"{col} TEXT" for col in df.columns]) create_table_query = f"CREATE TABLE {table_name} ({df.columns[0]} TEXT PRIMARY KEY, {columns_definition});" conn.execute(create_table_query) # Insert dataframe into newly created table without including index. df.to_sql(name=table_name, con=conn, if_exists="append", index=False) # Example usage: data_df = pd.DataFrame({ "unique_identifier": ["A", "B"], "value_column": [10, 20] }) with sqlite3.connect(":memory:") as memory_conn: setup_primary_key(data_df, memory_conn, "sample_table") result_check = pd.read_sql("SELECT * FROM sample_table;", memory_conn) print(result_check) ``` 此函数先移除旧表再重建带有所需主键属性的新表，最后才调用 `to_sql()` 方法完成实际的数据填充工作流程。 --- ###