解决mysql存储特殊文字(表情符号)utf8mb4

最新推荐文章于 2021-05-13 18:11:24 发布
最新推荐文章于 2021-05-13 18:11:24 发布
阅读量624 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 数据库
原文链接：https://yq.aliyun.com/articles/629301
本文介绍了在使用MySQL存储包含特殊字符（如QQ表情）的数据时遇到的问题及解决方案，包括调整数据库连接编码、更改数据库字符集编码页等步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、背景

爬取数据过程中，会遇到一些特殊的字符入库出错的问题，比如二进制数据、比如特殊文字（类似QQ表情）等。

Siberian Husky fighting

这样的标题，后面就带有一个表情。

在mysql存储的时候，报错信息如下：

[Failure instance: Traceback: <class 'pymysql.err.InternalError'>: (1366, "Incorrect string value: '\\xF0\\x9F\\x90\\xB6' for column 'title' at row 1")

大致意思是指title这个字段无法存储这种字符。

解决办法

经过网上搜索mysql 1366，多方查看后，终于找到了原因和解决的办法。

是因为\xF0\x9F\x90\xB6 它通常是4个字符存储，而mysql的utf8默认是3个字符存储。

1、 更改代码中数据库连接的字符编码charset为utf8mb4

MYSQL_CHARSET = 'utf8mb4'

2、将数据库字符集编码页改成utf8mb4。

3、检查数据表的字符编码，保持同步。

4、最后确认数据表中的字段，存储这种特殊文字的字段字符编码也是utf8mb4

输入图片说明

这样就解决了这个问题。

如果你没有小心处理好，可以尝试新建一个数据库，然后将默认的字符编码设置为utf8mb4.

mysql保存生僻字特殊字符（utf8mb4）
wxq1075110242的博客
04-15 4201
数据库编码是utf-8,保存生僻字或emoji时异常，无法保存； 执行：INSERT INTO leave_record VALUES (102,“
mysql 存储utf8,MySQL不能正确存储一些UTF8字符
weixin_42489917的博客
01-19 170
I'm using the mysql dbms to store pages from Wikipedia. I've set the character-set encoding to utf-8 (wikipedia encoding) in my.cnf file with the directive:[mysqld]character_set_server = utf8And creat...
mysql utf-8的作用_特殊字符在MySQL中不起作用(UTF-8)
weixin_39640414的博客
02-27 197
所以,我在尝试从Latin1编码的数据库,表格和列中过来时遇到了一些问题,现在一切都是UTF-8,我似乎无法更新列中的一行.我试图用急性(é)替换“e”.但它给了我这个：ERROR 1366 (HY000): Incorrect string value: ‘\x82m …’ for column‘Name’ at row 1在运行时：UPDATE访问SET Name =’ém’WHEREid =...
Mysql或MariaDB无法保存UTF-8编码的表情符号
青青橙的博客
12-03 407
  前段时间贴吧更新了一个昵称规则，好像必须要用一个特殊符号或者表情符号写到昵称里，就像这种小表情：   那些曾经随意起用户名然后发现贴吧无法改名的用户得到了第二次新生。而在我编写一个注册系统时，也将用户名中包含表情符号的功能考虑进去了，结果发现报错Mysql无法存储此字符。在这个坑里我爬了半天，是怎么回事呢？   事实上这是Mysql的一个bug，在Mysql中，如果使用UTF-8编码来保存字符...
mysql 特殊表情字符不展示不保存到数据的问题处理
zyw1225565180的专栏
03-10 288
mysql 特殊表情字符不展示不保存到数据的问题处理mysql 特殊表情字符不展示不保存到数据的问题处理修改配置my.inc把没有的加上去就好了记得重启mysql服务 mysql 特殊表情字符不展示不保存到数据的问题处理 修改配置my.inc 把没有的加上去就好了 [client] default-character-set = utf8mb4 [mysql] default-character-...
windows环境下远程数据泵备份ORACLE并自动定期删除本地文件的批处理文件
zjf_gx的博客
09-10 449
windows环境下远程数据泵备份ORACLE并自动定期删除本地文件的批处理文件 set YYYYmmdd=%date:0,4%%date:5,2%%date:~8,2% set hhmiss=%time:0,2%%time:3,2%%time:~6,2% if “%hhmiss:~0,1%”==" " set “hhmiss=0%hhmiss:~1%” set NLS_LANG=AMERICAN_AMERICA.AL32UTF8 expdp 客户端用户名system/密码 schemas=服务器待备份模式
MySQL 编码utf8 与 utf8mb4 utf8mb4_unicode_ci 与 utf8mb4_general_ci
09-08
为了解决这个问题，MySQL引入了`utf8mb4`字符集，它完全支持4字节的UTF-8编码，能处理更多的Unicode字符。 从MySQL 5.5.3开始，`utf8mb4`被引入，而在MySQL 8.0中，`utf8mb4`已成为默认的字符集。这反映了对全球化...
全面了解mysql中utf8和utf8mb4的区别
09-10
UTF8MB4旨在解决UTF8无法存储4字节Unicode字符的问题，因此它可以存储Unicode的所有17个平面，总计超过100万个字符。 二、UTF8MB4的必要性 虽然UTF8可以覆盖大部分常用汉字，但遇到4字节的Unicode字符时，如Emoji...
如何更改MySQL数据库的编码为utf8mb4
09-08
MySQL数据库的编码转换至utf8mb4是为了更好地支持Unicode字符集，尤其是对于包含四字节表情符号和其他特殊字符的数据。utf8mb4是utf8的扩展，它不仅完全兼容utf8，还能处理更多的Unicode字符范围，包括现代社交媒体...
MySQL utf8mb4 字符集：支持 emoji 表情符号
weixin_34375233的博客
12-23 93
2019独角兽企业重金招聘Python工程师标准>>> ...
解决mysql生僻字中文乱码显示异常处理举例
热门推荐
学无止境
06-14 1万+
解决mysql的utf8编码中生僻字写入时"Incorrect string value"错误其他中文显示非常正常，但是在写入“姮”、"旻"等比较生僻的人名时报告错误：Incorrect string value "..." for column ...看似是gb2312字符集不全面的问题，换用gbk的话应该就没什么问题了，但是疑问在这里：数据和程序以及前台
【技术栈⭐00071】mysql如何存Emoji表情
玉
05-13 1547
这里写目录标题解决方案代码参考如果是自己搭建的数据库，参考如下。如果你用的阿里云的数据库数据库里的表也要支持utf8md4最后你连接数据库的方式如下 解决方案 如果想在数据库存emoji表情需要满足以下几种情况。 1: mysql 数据库要改成utf8md4编码格式，因为这样才能存emoji四个字符的表情。 2: 客户端也要改成utf8md4的编码格式，这里的客户端指的是后端工程师开发的服务器，只是相对于数据库来说是是客户端。其实就是在连接mysql的时候指定一下以什么编码连接mysql数据库。 代码参考
MySQL 字符集utf8和utf-8的关系
weixin_30456039的博客
05-07 262
MySQL 字符集utf8和utf-8的关系 原文:MySQL 字符集utf8和utf-8的关系 目录 什么是字符集(character set) 校对规则(collation) ASCII码 Unicode国际化支持 ...
mysql: 更改MySQL数据库的编码为utf8mb4
ibsfn
08-29 509
原文出处: https://blog.youkuaiyun.com/woslx/article/details/49685111   utf-8编码可能2个字节、3个字节、4个字节的字符，但是MySQL的utf8编码只支持3字节的数据，而移动端的表情数据是4个字节的字符。如果直接往采用utf-8编码的数据库中插入表情数据，java程序中将报SQL异常： java.sql.SQLException: I...
char、varchar、varchar2、nvarchar的区别
qq_37149892的博客
09-11 593
一、概述    1.char     char是定长的，也就是当你输入的字符小于你指定的数目时，char(8)，你输入的字符小于8时，它会再后面补空值。当你输入的字符大于指定的数时，它会截取超出的字符。   2.varchar(n)       长度为 n 个字节的可变长...
MySQL保存特殊字符及表情符
饭饭
02-21 2880
操作一： 1.设置数据库编码 ALTER DATABASE database1 CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci; 2.设置表的编码 ALTER TABLE database1.table1 CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_bin; 3.设置某字段的编码 ALTER T...
MySQL 存储特殊字符处理
weixin_35675281的博客
02-26 5358
最新线上出现一个bug，原因是客户输入了特殊汉字导致的 福永街道文????大厦2座6B 如果不做任何处理，项目会抛异常，如下： java.sql.SQLException: Incorrect string value: '\xF0\xA7\x9A\x94\xE5\xA4...' for column 'remark' at row 1 ; uncategorized SQLExcept...
mysql存储特殊表情符号,解决mysql存储特殊文字(表情符号)utf8mb4
weixin_39897758的博客
03-23 758
一、背景爬取数据过程中，会遇到一些特殊的字符入库出错的问题，比如二进制数据、比如特殊文字(类似QQ表情)等。Siberian Husky fighting????这样的标题，后面就带有一个表情。在mysql存储的时候，报错信息如下：[Failure instance: Traceback: : (1366, "Incorrect string value: '\\xF0\\x9F\\x90\\xB6' ...
mysql8 utf8mb4存表情显示空格
最新发布
12-31
### MySQL 8 中使用 `utf8mb4` 字符集存储表情符号时显示为空格的解决方案 当遇到在 MySQL 8 使用 `utf8mb4` 字符集存储表情符号却显示为空格的情况，通常是因为表结构或连接设置未能正确配置以支持完整的 UTF-8 编码范围。具体原因可能涉及以下几个方面： #### 数据库和表格字符集未完全转换到 `utf8mb4` 即使服务器级别的字符集已设为 `utf8mb4`，如果特定数据库或其下的某个表仍保持旧有的字符编码，则可能导致数据截断或错误解析。 为了确保整个环境都采用新的字符集标准，在创建新数据库或修改现有数据库时应指定 `CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci` 参数[^1]。对于已有表单，可以通过 ALTER TABLE 命令来更新它们的字符集属性： ```sql ALTER DATABASE your_database_name CHARACTER SET = utf8mb4 COLLATE = utf8mb4_0900_ai_ci; ALTER TABLE your_table CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci; ``` #### 连接客户端至服务端过程中丢失了正确的字符集声明 除了调整内部的数据定义外，还需要确认应用程序与 MySQL Server 的交互过程中的字符集协商机制是否正常工作。这涉及到客户端驱动程序以及 SQL 查询本身如何告知服务器期望使用的字符集。 可以在建立会话之初通过执行如下命令显式设定当前对话所用字符集： ```sql SET NAMES 'utf8mb4'; ``` 或者更推荐的方式是在应用层面上配置持久化的默认字符集选项，比如 PHP 的 PDO 扩展允许直接在 DSN (Data Source Name) 中加入 charset=utf8mb4 参数。 另外值得注意的是，部分老旧版本的应用框架可能存在兼容性问题，无法妥善处理四字节UTF-8字符(`utf8mb4`)，因此也需要检查并升级这些组件。 #### 验证字段类型能否容纳多字节字符 最后还需注意一点就是 VARCHAR 和 TEXT 类型字段的最大长度是以字符数而非字节数计算的；然而由于 emoji 等特殊符号占用四个字节的空间，所以在设计模式时要特别留意这一点以免造成意外溢出。例如原本计划用于存放不超过255个ASCII字符的空间实际上最多只能存放下约63个emoji图标[(255/4)](https://dev.mysql.com/doc/refman/8.0/en/charset-unicode.html)[^2]. 综上所述，针对上述情况采取适当措施后应该可以有效解决因字符集不匹配而导致的表情符号显示异常的问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值