python连接数据库中文乱码问题分析

最新推荐文章于 2024-09-14 09:46:32 发布

原创最新推荐文章于 2024-09-14 09:46:32 发布 · 1.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #数据库 #ms sql server #chardet #中文乱码

Python 同时被 2 个专栏收录

33 篇文章

订阅专栏

数据库

8 篇文章

订阅专栏

本文介绍使用Python连接MSSQLServer或mysql数据库时遇到的中文乱码问题，并提供了解决方案。通过分析数据编码格式，利用chardet库进行编码检测，确保正确读取中文字符。

部署运行你感兴趣的模型镜像

python 用pymssql连接MS SQL Server数据库或用MySQLdb连接mysql数据库时，经常会遇到中文乱码问题。

为了提高解决问题效率，分析取到的数据的编码格式很重要。

推荐使用 chardet 做编码分析。

CMD 下用pip安装：pip install chardet;

一个小栗子：
>>>import chardet
>>>a = '\xc4\xcf\xbc\xab\xb5\xe7\xc9\xcc'
>>>chardet.detect(a)

结果：

{'confidence': 0.99, 'encoding': 'GB2312'}

另一个栗子：

>>>a = u'\xc4\xcf\xbc\xab\xb5\xe7\xc9\xcc'
>>>print a
ÄÏ¼«µçÉÌ
>>>b = a.encode('latin1').decode('GB2312')
>>>b
u'\u5357\u6781\u7535\u5546'
>>>chardet.detect('\u5357\u6781\u7535\u5546')
{'confidence': 1.0, 'encoding': 'ascii'}
>>> print b
南极电商

用python从SQL Server中取到数据为unicode，但是直接print是乱码。数据库的存放是Latin1 所以先encode，经用chardet分析里面的实际编码是GB2312，所以再decode。保存的就不是乱码了。

补充：2016/11/14

上面的转换有点多余，而且有的时候会报异常，可以直接这样：

>>> b= a.encode('raw_unicode_escape') #直接搞定
>>>b
'\xc4\xcf\xbc\xab\xb5\xe7\xc9\xcc'
>>>print b
南极电商
>>> import chardet
>>> chardet.detect(b)
{'confidence': 0.99, 'encoding': 'GB2312'}

参考：

[1] pymssql中文显示乱码