Incorrect string value: '\xF0\x9F\x98\x84\xF0\x9F

解决MySQL存储4字节UTF-8表情字符问题

最新推荐文章于 2025-01-16 23:15:00 发布

iteye_11495

最新推荐文章于 2025-01-16 23:15:00 发布

阅读量94

点赞数

文章标签：数据库

本文详细解析了在使用MySQL数据库时遇到的存储4字节UTF-8编码表情字符导致的错误问题，并提供了有效的解决方案，包括升级MySQL版本至5.5.3及以上并使用utf8mb4数据类型，以及自定义过滤规则处理文本中的特殊字符。

问题描述：从新浪微博抓取消息保存到MySQL数据中，对应数据库字段为varchar，字符编码utf-8。部分插入成功，部分插入失败，报错如标题。

在网上查询，有人说是编码问题，建议修改编码格式，比如改成gbk，UTF-8，blob等等，但是几乎没有人给出更详细的答案。在一个英文网站上，才发现真正错误的原因。链接1 链接2

错误原因：我们可以看到错误提示中的字符0xF0 0x9F 0x98 0x84 ，这对应UTF-8编码格式中的4字节编码（UTF-8编码规范）。正常的汉字一般不会超过3个字节，为什么为出现4个字节呢？实际上是它对应的是智能手机输入法中的表情。那为什么会报错呢？因为mysql中的utf-8并不是真正意义上的utf-8，它只能存储1~3个字节长度的utf-8编码，如果想存储4个字节的必须用utf8mb4类型。不而要使用utf8mb4类型，首先要保证Mysql版本要不低于MySQL 5.5.3。

解决方案：

1）使用utf8mb4数据类型

要用这种策略，如果MySql版本低于5.5.3，首先要进行版本升级，然后将对应的数据类型改为utf8mb4类型。如果使用的是Connector/J 连接数据库，需要在配置中把编码格式改为utf8mb4（set character_set_server=utf8mb4 in the connection config）。

2）自定义过滤规则，将文本中出现的四字节UTF-8字符过滤或转化为自定义类型。

下面是将4字节字符转化为0000的测试例子。

for (int i = 0; i < b_text.length; i++)
{
    if((b_text[i] & 0xF8)== 0xF0){
        for (int j = 0; j < 4; j++) {						
	    b_text[i+j]=0x30;					
	}
	i+=3;
    }
}