mysql 4字节unicode 错误问题

最新推荐文章于 2022-04-02 17:02:18 发布
原创 最新推荐文章于 2022-04-02 17:02:18 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在使用MySQL存储从微博抓取的数据时遇到的特殊字符导致的SQL异常问题，并详细记录了解决过程，包括升级MySQL版本、更改数据库编码设置等步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一般用utf8就可以表示中文了

最近抓微博的数据有人该死的用奇怪的符号，会报sql异常

`java.sql.SQLException: Incorrect string value: '\xF0\x9F\x91\xBD\xF0\x9F...'

之类的

网上搜了一些，新版的mysql可以是用utf8mb4格式，存取那些奇怪的字符


下了新版本，改了数据库编码和jdbcurl，但是插入的都是乱码

最后搜到一篇文章，还需要改character_set_server变量，改为utf8mb4 （原文逻辑比较混乱，就不列了，实在好奇的看下面）

这个是整个数据库的缺省编码，按照逻辑，应该和这个无关

但是事实是改了这个变量就正常了

无力吐槽，找了好久


找到的有关的文章：http://mckobe23.blog.51cto.com/826570/1067388

Python2解析4字节unicode出错该如何解决?
HK的博客
07-09 545
问题引子 在处理文本输入的时候, 当我想用Python自带的decode和encode去解析unicode的时候, 通常来讲除去编码不对, 正常来讲是可以解析的, 并且会返回一个正确的utf8字节串 s = u'龙'.encode('utf8') # s : '\xe9\xbe\x99' 但是当我们处理4字节的unicode字符的时候, 就会返回不正确的结果, 而且返回的字节数量竟然是2. 这里明显是解析错误了 s = u'????'.encode('utf8') #s : '??' len(s) # 2
mysql字符编码利用技巧（三字节和四字节）
最新发布
m0_68976043的博客
08-11 786
不完整的汉字导致转utf-8的时候被抛弃了。
MySQL字符编码的讨论：如何处理emoji等4字节的Unicode字符 - utf8mb4 vs. utf8 Collations
Max Wong
12-20 3080
utf8mb4_unicode_ci vs. utf8_unicode_ci这两种MySQL的collations（整理），使用哪个好？
mysql保存不了4字节的问题（也就是表情）
weixin_30845171的博客
05-24 182
这个问题 https://blog.youkuaiyun.com/ppwangGS/article/details/62044887 有详细的解决办法 这里我就是记录一下我遇到的问题 这种问题一般是往数据库 插入通讯录的时候碰到 （起的名字什么都有） 第一种方法 数据库 设计表的时候 我们一般设置varchar一般是utf8 utf8_general_ci 如果...
MySQL进行字符串比较时发生错误
qq924795111的博客
09-11 680
异常栈信息： Cause: java.sql.SQLException: Illegal mix of collations (utf8mb4_general_ci,IMPLICIT) and (utf8_general_ci,COERCIBLE) for operation '=' at org.apache.ibatis.exceptions.ExceptionFactory.wrap...
mysql字符串保存异常问题，（utf8、utf-8、Unicode编码的异同及兼容性问题）
舒适hanxs4
07-12 699
目录背景分析相关方案相关资料 背景 mysql 5.7.26-29 数据库，此版本数据库支持json类型数据 进行insert时出现异常（ nested exception is java.sql.SQLException: Incorrect string value: ‘\xF0\xA2\x86\x89’ for column ‘name’ at row 1） 问题背景是，保存为json格式时数据正常，拆分json数据并保存为字符串时，不支持部分特殊字符并且出现。 分析 分析原因是：mysql的u
MySQL 编码utf8 与 utf8mb4 utf8mb4_unicode_ci 与 utf8mb4_general_ci
09-08
为了解决这个问题，MySQL引入了`utf8mb4`字符集，它完全支持4字节的UTF-8编码，能处理更多的Unicode字符。 从MySQL 5.5.3开始，`utf8mb4`被引入，而在MySQL 8.0中，`utf8mb4`已成为默认的字符集。这反映了对全球化...
全面了解mysql中utf8和utf8mb4的区别
09-10
UTF8MB4旨在解决UTF8无法存储4字节Unicode字符的问题，因此它可以存储Unicode的所有17个平面，总计超过100万个字符。 二、UTF8MB4的必要性 虽然UTF8可以覆盖大部分常用汉字，但遇到4字节的Unicode字符时，如Emoji...
在VB.Net和MySQL中插入和显示unicode数据
04-04
MySQL自5.0版本开始，推荐使用utf8mb4字符集来处理Unicode数据，因为它不仅包含标准的UTF-8编码空间，还支持表情和其他四字节的Unicode字符。如果你的数据库尚未配置为使用utf8mb4，可以执行以下SQL命令进行设置： ...
mysql 中utf8编码存放中文汉字问题
AllenPL的博客
10-17 4456
今天对mysql数据库进行操作时，发现始终存不进数据库，搞了很久才发现这张表字符长度为VARCHAR(20)，而我存入的汉字超过了7个！ 经过查询才知道汉字字符转换问题，以前也知道，但是并没有引起注意。    干货如下: 只适用mysql5.0以上的版本：  1.一个汉字占多少长度与编码有关：          UTF－8：一个汉字＝3个字节             GBK：一
mysql输入中文出现ERROR 1366的解决方法
09-09
主要为大家详细介绍了mysql输入中文出现ERROR 1366的解决方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
mysql保存Unicode表情
HunterLeo的专栏
03-04 1467
mysql 存储Unicode表情，需要字段定义为utf8mb4 ...
【mysql】编码问题
weixin_34233618的博客
06-23 69
原始数据是unicode，存入数据库。需要注意的几个地方：   1、建立数据库时，选择编码方式为utf8 -- UTF-8 Unicode 2、代码中建立数据库连接时，选择charset=utf8 3、存入数据前，处理数据MySQLdb.escape_string(data.encode('utf-8'))  先编码为utf-8，然后转义字符...
【MySQL系列】MySQL中text,longtext,mediumtext区别
热门推荐
优快云站内信: https://i.youkuaiyun.com/#/msg/chat/qyj19920704
04-02 9万+
mysql 中 text,longtext,mediumtext 字段类型的意思, 以及区别 mysql 中 text，longtext，mediumtext 字段类型区别为：字节限制不同、I/O 不同、行迁移不同。 一、字节限制不同 1、text 字段类型：text 字段类型的字节限制为 65535 字节。 2、longtext 字段类型：longtext 字段类型的字节限制为 2147483647 字节。 3、mediumtext 字段类型：mediumtext 字段类型的字节限制为 16777215
MySql处理Unicode字符串
lzh_86的博客
03-13 1万+
进行数据采集的时候，处理Unciode是件麻烦的事情。默认的情况下，MySql也不支持Unicode字符处理（可以自己设置）。所以可以在一开始让数据库支持Unicode(数据库的表在最后) ALTER DATABASE scraping CHARACTER SET = utf8mb4_unicode_ci; ALTER TABLE pages CONVERT TO CHARACTER SE...
mysql 存储unicode_如何使用存储过程在MySQL中插入Unicode数据
weixin_42516581的博客
01-19 535
I had created one application.used Fronde vs 2010 and backed MySQL 5.3 version.this application i am used store-procedure in MySQL .i am insert data in English it's work.but i am insert Unicode date...
解决MySQL存储emoji表情报错问题
针对这个问题，文档提供了一个解决方案，即切换到utf8mb4字符集，该字符集专门为支持包括emoji在内的四字节Unicode字符设计。" 在MySQL中，传统的utf8字符集只支持最大三字节的Unicode字符，因此无法正确存储某些...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值