在使用pandas的to_sql时遇到的一些小问题

最新推荐文章于 2024-06-24 17:10:44 发布

原创最新推荐文章于 2024-06-24 17:10:44 发布 · 872 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#sql #数据库

本文介绍了在使用pandas将数据写入SQL Server时遇到的连接失败问题。通过更改连接字符串中的'localhost'为具体的数据库服务器名称，成功解决了SQLAlchemy连接错误。

在使用pandas的to_sql时需要使用sqlalchemy.creat_engine

正常使用语句：

engine = create_engine("mssql+pymssql://user:password@localhost/DBname?charset=utf8")

但是老是报错:

sqlalchemy.exc.OperationalError: (pymssql._pymssql.OperationalError) (18456, b"\xe7\x94\xa8\xe6\x88\xb7 'username' \xe7\x99\xbb\xe5\xbd\x95\xe5\xa4\xb1\xe8\xb4\xa5\xe3\x80\x82DB-Lib error message 20018, severity 14:\nGeneral SQL Server error: Check messages from the SQL Server\nDB-Lib error message 20002, severity 9:\nAdaptive Server connection failed (localhost)\nDB-Lib error message 20002, severity 9:\nAdaptive Server connection failed (localhost)\n")

后来把localhost改成数据库服务器的名称才成功

engine = create_engine("mssql+pymssql://username:password@LXDS-SECRET-GAR\WINCCPLUSMIG2014/DBname?charset=utf8")

暂时没有搞明白原因，希望大神能够解答

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

L.XD

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

那些年我们在python掉进的坑系列之一pandas的to_sql

qq_34685317的博客

06-07

3万+

在目前大数据和人工智能的大趋势下，越来越多的人开始学习python作为自己入手数据和AI的第一门语言，笔者也是如此。很多人在接触python的第一步都是学习pandas，主要是这个框架是最接近于R和Matlab学习起来轻松易懂。但是在pandas的使用中，有很多问题和很多人因为对编程和计算机概念不理解，导致很多很多的坑，笔者在此开一个系列博文，不定期更新中会将自己遇到的坑介绍给大家。 p

Python3中pandas.DataFrame.to_sql指定数据库表的列类型(dtype)和存取数据时遇到的坑

mary12372的博客

03-17

1万+

问题： Python中生成的Dataframe通过df.to_sql导入数据库，但由于在数据库中新建表的数据类型不符合sql查询要求，需要更改。 DataFrame.to_sql 官方文档： http://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_sql.html df.to_sql('数据库表名...

1 条评论您还未登录，请先登录后发表或查看评论

pandas实现to_sql将DataFrame保存到数据库中

09-19

主要介绍了pandas实现to_sql将DataFrame保存到数据库中,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

使用sqlalchemy、pymysql和pandas将mysql多个表备份至一个表中报错OperationalError 1054

whitedrogen的博客

02-25

2137

这是我在完成一个定时完成数据库间备份的项目时，利用pandas的to_sql()写入数据时，遇到的报错。

sql boolean类型_pandas to_sql 追加到sql server 遇到数据类型不符的问题

weixin_39793794的博客

12-17

294

使用df.to_sql的方法把处理好数据类型的df追加到sql server的表中，但是还是报错，解决办法是：通过创建一个类似“{"column_name"：sqlalchemy_type}”的映射结构来控制数据库中表的列类型。但在实际使用时，我们更希望能通过pandas.DataFrame中的column的数据类型来映射数据库中的列类型，而不是每此都要列出pandas.DataFrame的col...

使用pandas.DataFrame.to_sql时报错Operand should contain 1 column(s)

MacwinWin的博客

06-05

1249

在使用to_sql写入数据库时，出现报错 sqlalchemy.exc.InternalError: (pymysql.err.InternalError) (1241, 'Operand should contain 1 column(s)') 是由于dataframe中存在值为列表的情况，需要将列表转为字符串 df.loc[:, ‘xxxx’] = df_main[‘xxxx’].astype(str) ...

pandas之to_sql

浪ふ沏沙的博客

07-19

6089

今天写一个mysql的自动化脚本，遇见了一些问题，最终折腾了很久终于搞定了。 python3.6,在使用pandas处理dataframe，写入数据库用了to_sql,数据库的连接不能使用pymysql的connect。于是选择了sqlalchemy得create_engine。在data.to_sql("mytable",conn,index=False)的时候提示没有mysqldb，查了...

Python库 | fast_to_sql-2.1.14-py3-none-any.whl

02-16

例如，如果你的数据存储在Pandas的DataFrame中，fast_to_sql可能提供了便捷的方法将DataFrame转换为数据库表。总的来说，fast_to_sql库是Python开发者处理大量数据导入SQL数据库时的一个有力工具，它能帮助你提高...

解决 pandas 读取 SQL Server 中的数据时，遇到 varchar 属性的中文字符显示乱码的问题（新）

热门推荐

sjtuldl的博客

01-05

1万+

用SQLAlchemy连接mysql数据库来读取数据到pandas的Dataframe中可以直接使用pandas中的read_sql方法，该方法返回以sql查询结果组成的Dataframe。其中的con参数可以使用SQLAlchemy中的engine来建立数据库连接来读取数据。index_col是一个list，列表中的列将成为返回的Dataframe中的index（如果包含多个列则为multi_i...

sklearn库LDA进行图片数据降维

qq_29848559的博客

02-24

4379

1.简介在另一篇文章中讲了利用PCA对图片数据进行降维，这次介绍一下另一种降维方法——LDA(Linear Discriminant Analysis)，即线性判别分析。跟PCA不同，LDA是一种supervised的降维方法。即我们对数据降维时需要数据的label。 LDA的原理是要找到一个投影面，使得投影后相同类别的数据点尽可能的靠在一起，而不同类别的数据点尽可能的分开...

Python pandas sqlalchemy ObjectNotExecutableError Not an executable object

qq_36534560的博客

03-30

818

pandas.read_sql 使用sqlalchemy 在2.0版本删除掉但这在 v1.4 中已弃用，并已在 SQLAlchemy 2.0 中删除。因为pandas 版本过低，与SQLAlchemy 2.0版本不兼容导致的，需要将pandas 版本升级到1.5以上。可以改用sqlalchemy.text包装它。

记一次 pandas 大数据写入mysql内存溢出问题

yangzhijun6699的博客

07-08

927

记一次 pandas 大数据写入mysql内存溢出问题 pandas中dateframe的to_mysql方法可以将df数据存入Mysql,但是，数据量太大时，会报merroy erro 错误，原因就是存入mysql时内存溢出了，这是不要忘记方法中： DataFrame.to_sql(name, con, schema=None, if_exists='fail', index=True, index_label=None, chunksize=None, dtype=None, method=None)

pandas实现对sql server的插入更新操作

summer089089的博客

06-17

1728

数据可能重多次插入，要求当一条数数据多次插入时，重复的数据做更新操作。建表的时候设置主键索引根据一行的数据生成一个加密后的值，将该值设置为主键列。

linux上使用python pandas操作sqlserver读取写入数据

xqlsrjjjh

03-31

1215

背景需求是需要在linux(debian)里运行python程序操作sqlserver读写数据，涉及到数据的读取和写入，这里主要使用pandas进行数据处理。前提在运行python程序之前，需要在linux上安装好python和对应的依赖，可以参考以下文章，虽然参考文章都是针对pyodbc连接sqlserver的，但是一开始使用pyodbc的时候，我从数据库读取到的数据一直都是乱码，当我改成pymssql连接的时候就没有乱码了，所以代码中主要是使用pymssql去连接sqlserver。 Linux

to_sql写入oracle,py3 pandas dataframe to_sql 中文插入oracle失败

weixin_35056641的博客

04-02

776

在做dataframe 导入oracle db时报的错'ascii' codec can't encode characters in position 0-3: ordinal not in range(128)，网上找了很多资料都无效，代码中的df是我自己的dataframe数据conn_string = 'oracle+cx_oracle://username:password@ip:por...

程序不报错，直接跳出也不执行多进程任务

阅读修身

03-09

576

解决方法就是，你在主程序里面加入测试语句，打印出来里面的相关数据检查输入。你就知道是不是里面的数据已经执行完毕才退出的。我开始以为我的错误是因为多进程阻塞导致的，但是后来我发现，是自己的程序输入变动导致了问题。程序直接跳出主程序。不执行main部分。否则问题找错了方向，那才叫一个费劲儿。

已解决sqlalchemy.exc.OperationalError: (pymssql.OperationalError) (8152, b’String or binary data would

努力让自己发光，对的人才能迎着光而来

12-30

1万+

已解决（pandas+sqlalchemy向数据库插入数据失败）sqlalchemy.exc.OperationalError: (pymssql.OperationalError) (8152, b’String or binary data would be truncated.DB-Lib error message 20018, severity 16:\nGeneral SQL Server error: Check messages from the SQL Server\n’)

python连接SQL SEVER问题

鲍鲍

11-23

1574

问题如下： Traceback (most recent call last): File "src\pymssql.pyx", line 636, in pymssql.connect File "src\_mssql.pyx", line 1964, in _mssql.connect File "src\_mssql.pyx", line 682, in _mssql.MSSQLConnection.__init__ File "src\_mssql.pyx", line 1690,

pandas.to_sql到sqlite时提示 datatype mismatch

06-10

当你使用pandas.to_sql函数将数据写入SQLite数据库时，可能会遇到“datatype mismatch”错误。这通常是由于pandas自动推断的数据类型与SQLite数据库中的数据类型不匹配导致的。可以尝试以下几种方法解决这个问题： 1. 指定数据类型：可以在to_sql函数中指定数据类型，以确保与数据库中的数据类型匹配。例如： ```python import sqlite3 import pandas as pd conn = sqlite3.connect('example.db') df = pd.DataFrame({'col1': [1, 2, 3], 'col2': ['a', 'b', 'c']}) df.to_sql('mytable', conn, if_exists='replace', index=False, dtype={'col1': 'INTEGER', 'col2': 'TEXT'}) ``` 在这个例子中，我们通过dtype参数指定了每列的数据类型，确保它们与数据库中的数据类型匹配。 2. 先创建表结构：在使用to_sql函数之前，可以先手动创建表结构，以确保每列的数据类型与数据库中的数据类型匹配。例如： ```python import sqlite3 import pandas as pd conn = sqlite3.connect('example.db') c = conn.cursor() c.execute('CREATE TABLE mytable (col1 INTEGER, col2 TEXT)') conn.commit() df = pd.DataFrame({'col1': [1, 2, 3], 'col2': ['a', 'b', 'c']}) df.to_sql('mytable', conn, if_exists='replace', index=False) ``` 在这个例子中，我们先创建了一个名为mytable的表，然后使用to_sql函数将数据写入该表中。由于表结构已经存在，to_sql函数将不再尝试自动推断数据类型，而是直接将数据写入表中。 3. 手动转换数据类型：如果你无法指定数据类型或创建表结构，可以尝试手动将数据类型转换为与数据库中的数据类型相匹配。例如： ```python import sqlite3 import pandas as pd conn = sqlite3.connect('example.db') df = pd.DataFrame({'col1': [1, 2, 3], 'col2': ['a', 'b', 'c']}) # 将col1转换为整数类型，col2转换为字符串类型 df['col1'] = df['col1'].astype(int) df['col2'] = df['col2'].astype(str) df.to_sql('mytable', conn, if_exists='replace', index=False) ``` 在这个例子中，我们通过astype方法手动将每列数据类型转换为与数据库中的数据类型相匹配。这种方法需要手动指定每列的数据类型，但可以确保写入数据库的数据类型与数据库中的数据类型匹配。