曝光 MySQL 的 一个坑,不要再使用 UTF-8 了?

我是谁?我在干嘛?回想被MySQL UTF8编码坑的惨痛教训总结 最近遇到几个项目被MySQL的utf8编码坑,想起之前编码问题被坑的惨痛教训,记录一下,警示自己。 曾几何时,每次建库都选utf8,觉得自己比那些用乱七八糟编码的人不知道酷到哪里去了。直到好多年前的某次课程设计做项目的时候,愉快的建了个用户表: CREATE TABLE `test_user` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `name` varchar(32) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; 然后愉快的新 立即下载

点击上方“芋道源码”,选择“设为星标”

做积极的人,而不是积极废人!

源码精品专栏

 

来源:网络

  • 问题的症结在于,MySQL的“utf8”实际上不是真正的UTF-8

  • 简单概括如下

  • 那么什么是编码?什么是UTF-8?

  • MySQL简史

  • 不过我可以试着猜测一下

  • 为什么这件事情会让人如此抓狂

  • 总结


最近我遇到了一个bug,我试着通过Rails在以“utf8”编码的MariaDB中保存一个UTF-8字符串,然后出现了一个离奇的错误:

Incorrect string value: ‘😃 <…’ for column ‘summary’ at row 1

我用的是UTF-8编码的客户端,服务器也是UTF-8编码的,数据库也是,就连要保存的这个字符串“????”也是合法的UTF-8。

问题的症结在于,MySQL的“utf8”实际上不是真正的UTF-8

“utf8”只支持每个字符最多三个字节,而真正的UTF-8是每个字符最多四个字节。

MySQL一直没有修复这个bug,他们在2010年发布了一个叫作“utf8mb4”的字符集,绕过了这个问题。

当然,他们并没有对新的字符集广而告之(可能是因为这个bug让他们觉得很尴尬),以致于现在网络上仍然在建议开发者使用“utf8”,但这些建议都是错误的。

简单概括如下

1、 MySQL的“utf8mb4”是真正的“UTF-8”。

2、 MySQL的“utf8”是一种“专属的编码”,它能够编码的Unicode字符并不多。

我要在这里澄清一下: 所有在使用“utf8”的MySQL和MariaDB用户都应该改用“utf8mb4”,永远都不要再使用“utf8”。**

那么什么是编码?什么是UTF-8?

我们都知道,计算机使用0和1来存储文本。比如字符“C”被存成“01000011”,那么计算机在显示这个字符时需要经过两个步骤:

1、 计算机读取“01000011”,得到数字67,因为67被编码成“01000011”。

2、 计算机在Unicode字符集中查找67,找到了“C”。

同样的

1、 我的电脑将“C”映射成Unicode字符集中的67。

2、 我的电脑将67编码成“01000011”,并发送给Web服务器。

几乎所有的网络应用都使用了Unicode字符集,因为没有理由使用其他字符集。

Unicode字符集包含了上百万个字符。最简单的编码是UTF-32,每个字符使用32位。这样做最简单,因为一直以来,计算机将32位视为数字,而计算机最在行的就是处理数字。但问题是,这样太浪费空间了

UTF-8可以节省空间,在UTF-8中,字符“C”只需要8位,一些不常用的字符,比如“”需要32位。其他的字符可能使用16位或24位。一篇类似本文这样的文章,如果使用UTF-8编码,占用的空间只有UTF-32的四分之一左右。

MySQL的“utf8”字符集与其他程序不兼容,它所谓的“”,可能真的是一坨……

MySQL简史

为什么MySQL开发者会让“utf8”失效? 我们或许可以从提交日志中寻找答案。

MySQL从4.1版本开始支持UTF-8,也就是2003年,而今天使用的UTF-8标准(RFC 3629)是随后才出现的。

旧版的UTF-8标准(RFC 2279)最多支持每个字符6个字节。2002年3月28日,MySQL开发者在第一个MySQL 4.1预览版中使用了RFC 2279。MySQL数据库开发的 36 条军规,这个要记住。

同年9月,他们对MySQL源代码进行了一次调整:“UTF8现在最多只支持3个字节的序列” 。

是谁提交了这些代码?他为什么要这样做?这个问题不得而知。在迁移到Git后(MySQL最开始使用的是BitKeeper),MySQL代码库中的很多提交者的名字都丢失了。2003年9月的邮件列表中也找不到可以解释这一变更的线索。

不过我可以试着猜测一下

2002年,MySQL做出了一个决定:如果用户可以保证数据表的每一行都使用相同的字节数,那么MySQL就可以在性能方面来一个大提升。

为此,用户需要将文本列定义为“CHAR”,每个“CHAR”列总是拥有相同数量的字符。如果插入的字符少于定义的数量,MySQL就会在后面填充空格,如果插入的字符超过了定义的数量,后面超出部分会被截断。

MySQL开发者在最开始尝试UTF-8时使用了每个字符6个字节,CHAR(1)使用6个字节,CHAR(2)使用12个字节,并以此类推。

应该说,他们最初的行为才是正确的,可惜这一版本一直没有发布。但是文档上却这么写了,而且广为流传,所有了解UTF-8的人都认同文档里写的东西。

1、 使用CHAR定义列(在现在看来,CHAR已经是老古董了,但在那时,在MySQL中使用CHAR会更快,不过从2005年以后就不是这样子了)。

2、 将CHAR列的编码设置为“utf8”。

我的猜测是MySQL开发者本来想帮助那些希望在空间和速度上双赢的用户,但他们搞砸了“utf8”编码。

所以结果就是没有赢家。那些希望在空间和速度上双赢的用户,当他们在使用“utf8”的CHAR列时,实际上使用的空间比预期的更大,速度也比预期的慢。而想要正确性的用户,当他们使用“utf8”编码时,却无法保存像“”这样的字符。

在这个不合法的字符集发布了之后,MySQL就无法修复它,因为这样需要要求所有用户重新构建他们的数据库。最终,MySQL在2010年重新发布了“utf8mb4”来支持真正的UTF-8。

为什么这件事情会让人如此抓狂

因为这个问题,我整整抓狂了一个礼拜。我被“utf8”愚弄了,花了很多时间才找到这个bug。但我一定不是唯一的一个,网络上几乎所有的文章都把“utf8”当成是真正的UTF-8。

“utf8”只能算是个专有的字符集,它给我们带来了新问题,却一直没有得到解决。

总结

如果你在使用MySQL或MariaDB,不要用 “utf8”编码,改用“utf8mb4” 。

点击这个网址

https://mathiasbynens.be/notes/mysql-utf8mb4#utf8-to-utf8mb4

提供了一个指南用于将现有数据库的字符编码从“utf8”转成“utf8mb4”。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:


最近更新《芋道 SpringBoot 2.X 入门》系列,已经 20 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

如果你喜欢这篇文章,喜欢,转发。

生活很美好,明天见(。・ω・。)ノ♡

MBIST --- PATR1.Memorybist测试原理 mem bist作为现在design设计中不可或缺的DFT设计内容,越发重要。本章节主要介绍mem bist组成部分,测试的原理以及注意事项。 阅读详情

相关推荐

C#利用S7netplus实现西门子S7_200_SMART PLC高效点位监控与操作

本文详细介绍了如何使用C#结合S7netplus开源库高效监控与操作西门子S7-200 SMART PLC的点位。内容涵盖从开发环境搭建、建立通信连接,到核心的点位读写、批量数据处理及字节与位数组转换等关键技术,并提供了构建稳定监控程序的架构与避坑指南,帮助开发者快速实现上位机与PLC的稳定数据交互。

rum55的博客 316

mysql utf8的坑

项目里有些特殊字符需要保存,比如这种表情????,但是插入到数据库时一直报错: Incorrect string value: ‘\xF0\x9F\x98\x81’ for column ‘name’ at row 1 MySQL的UTF-8并不是“真正”的UTF-8,实际只支持最大3个字节。这样会导致,当插入数据包含emoji表情时,数据库会报错。真正的UTF-8是每个字符最多4个字节。 因此,MySQL官方在2010年发布了一个不同于UTF-8的字符集,叫utf8mb4。 CREATE TABLE `t

风雪夜归人的博客 306

短视频mssdk中get_token协议逆向与加密流程深度解析

本文深度解析了短视频mssdk中get_token协议的逆向分析与加密流程。通过抓包、Frida Hook、静态分析等手段,详细拆解了协议数据的Protobuf结构、设备信息采集来源,并重点剖析了其核心加密链路:zlib压缩、自定义TEA算法与AES-CBC加密,最终实现完整的协议模拟。

flower的专栏 560

MySQL 查询结果 UTF8 踩坑经历

MySQL 查询结果转 UTF8踩坑过程解决办法 踩坑过程   表结构字符集配置 : 查询结果 : 采用上面的结果集,作子查询:出现乱码 解决办法   使用 convert (str using utf8)函数转换,str 是需要转换的值 或 : ...

STRANGE-P 的博客 759

STM32驱动AS5600磁性旋转位置传感器模块

文章目录简介引脚定义I2C接口写数据读数据从指定的地址开始读数据驱动程序cubeMX配置驱动程序`bsp_as5600.h``bsp_as5600.c`测试程序参考资料 简介 AS5600 是一款易于编程的磁性旋转位置传感器,具有高分辨率 12 位模拟或 PWM 输出。 这种非接触式系统测量径向磁化轴上磁铁的绝对角度。 该 AS5600 专为非接触式电位计应用而设计,其坚固的设计消除了任何同质外部杂散磁场的影响。 引脚定义 I2C接口 7位设备地址为0x36(二进制表示为0110110) 支持标准模式和

ApexYuan 1万+

ENSP之配置静态路由

ENSP之配置静态路由 两台路由器两台PC 拓扑图如下: 配置AR1线路上的两条IP地址 配置AR2线路上的两条IP地址 3.AR2上 配置静态IP 路由 AR1上 配置静态IP 路由 设置两台PC 的IP地址 网关 PC1 PC2 全部配置好了之后 现在测试PC1是否ping 得通PC2 在命令行输入 成功的话如下图 ...

浪友与泪的博客 3545

总结:被MySQL UTF8编码坑的惨痛教训...

最近遇到几个项目被MySQL的utf8编码坑,想起之前编码问题被坑的惨痛教训,记录一下,警示自己。曾几何时,每次建库都选utf8,觉得自己比那些用乱七八糟编码的人不知道酷到哪里去了。直到...

emprere的博客 905

科研牛马千万不要错过!手把手教你用AI精准匹配真实参考文献,仅需一个专业应用+两个提示词指令

当然也可以借助生成式AI,如GPT-5.2、Gemini 3 Pro粘贴段落,输入设计好的提示词,让模型根据段落内容匹配参考文献,并正确引用到段落合适位置,再按规范格式输出参考文献列表。阅读我提供的【正文文本】,为其中的关键论点寻找真实的、权威的参考文献(优先来源于Nature, Science, IEEE, ACM, PubMed等),并插入引用。若在段落中已经引用好了参考文献,也有参考文献列表,担心引用位置不当或论点、论述逻辑与文献不够契合,则可以用以下结构化提示词,让AI辅助审查。

智能AI让学术科研更容易 1036

谨记不要在MySQL中使用“utf8”编码

最近工作中我遇到了一个 bug,我试着通过 Rails 在以“utf8”编码的 MariaDB 中保存一个 UTF-8 字符串,然后出现了一个离奇的错误:Incorrect string value: ‘\xF0\x9F\x98\x83 &lt;…’ for column ‘summary’ at row 1我用的是 UTF-8 编码的客户端,服务器也是 UTF-8 编码的,数据库也是,就连要保存...

代码技巧 7398

华为面试手撕真题【判断是ipv4还是ipv6地址】

编写一个函数来验证输入的字符串是否是有效的 IPv4 或 IPv6 地址。

MISAYAONE的博客 1万+

YOLOv11损失函数原理与源码解读:从调参血泪史到源码级优化

本文深入解析YOLOv11目标检测模型的损失函数设计,揭示其相比前代的关键改进。重点剖析了回归损失中动态权重的小目标优化、分类损失的带温度系数softmax、以及目标损失的自适应阈值机制等创新点。作者通过源码分析指出常见实现陷阱,如梯度回传的正确处理方式、标签分配的匹配策略等。结合实战经验,给出针对小目标检测、类别误判等典型问题的调参建议,并分享实用的调试工具代码片段。最后强调损失函数调参需结合具体任务,指出后处理对实际部署效果的重要影响。全文以工程实践为导向,为开发者提供可直接落地的优化思路。

as1225120794的博客 442

曝光 MySQL 的 一个坑,不要再使用 UTF-8 了

最近我遇到了一个bug,我试着通过Rails在以“utf8”编码的MariaDB中保存一个UTF-8字符串,然后出现了一个离奇的错误: 我用的是UTF-8编码的客户端,服务器也是UTF-8编码的,数据库也是,就连要保存的这个字符串“????”也是合法的UTF-8。 问题的症结在于,MySQL的“utf8”实际上不是真正的UTF-8。 “utf8”只支持每个字符最多三个字节,而真正的UTF-8是每个字符最...

weixin_46302190的博客 165

PyCharm配置SSH远程解释器第3步时弹框报错:com.google.gson.stream.MalformedJsonException: Expected value at l...如何解决?

🏆本文收录于 《全栈 Bug 调优(实战版)》 专栏。专栏聚焦真实项目中的各类疑难 Bug,从成因剖析 → 排查路径 → 解决方案 → 预防优化全链路拆解,形成一套可复用、可沉淀的实战知识体系。无论你是初入职场的开发者,还是负责复杂项目的资深工程师,都可以在这里构建一套属于自己的「问题诊断与性能调优」方法论,助你稳步进阶、放大技术价值 。

**My Coding Family** 1931

eclipse编码设置utf8_曝光 MySQL 的 一个坑,不要再使用 UTF8 了?

点击上方“Java技术前线”,选择“置顶或者星标”与你一起成长来源:网络问题的症结在于,MySQL的“utf8”实际上不是真正的UTF-8简单概括如下那么什么是编码?什么是UTF-8?MySQL简史不过我可以试着猜测一下为什么这件事情会让人如此抓狂总结最近我遇到了一个bug,我试着通过Rails在以“utf8”编码的MariaDB中保存一个UTF-8字符串,然后出现了一个离奇的错误:In...

weixin_34409895的博客 97

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

防骗曝光台 · 全民反诈共享平台程序HTML代码页面演示参考

本文介绍了一个基于浏览器本地存储的"骗子曝光平台"功能及开发建议。该平台核心功能包括:曝光信息提交表单(支持文字描述、联系方式和多图上传)、证据图片弹窗查看、关键词搜索等,所有数据存储在localStorage中。平台采用响应式设计,适配多终端使用。 后续开发建议着重提升平台的可扩展性和安全性:1)建议搭建后端服务实现数据云端存储和跨设备同步;2)增加内容审核机制和管理后台;3)优化搜索筛选功能(按时间、金额、标签等);4)考虑添加社区互动功能;5)加强安全防护措施(验证码、敏感信息脱敏

荻酷网的博客 393

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

php5.6免安装,MySQL_MySQL5.6免安装版环境配置图文教程,MySQL是一个小巧玲珑但功能强 - phpStudy...

MySQL5.6免安装版环境配置图文教程MySQL是一个小巧玲珑但功能强大的数据库,目前十分流行。但是官网给出的安装包有两种格式,一个是msi格式,一个是zip格式的。很多人下了zip格式的解压发现没有setup.exe,面对一堆文件一头雾水,不知如何安装。下面小编将介绍如何解决此情况下安装过程中的各种问题工具:win7操作系统MySQLzip格式安装包方法/步骤:MySQL安装文件分为两种,一种...

weixin_35925298的博客 304

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

MySQL数据库中的中文乱码如何解决?

2010-05-24 11:17 佚名 互联网 我要评论(0) 字号:T | T 此文章主要介绍的是MySQL数据库中文乱码的实际解决方案,以及对出现中文乱码的原因的分析,以下就是文章的具体内容描述。 AD:2013云计算架构师峰会精彩课程曝光 以下的文章主要介绍的是MySQL数据库中文乱码的实际解决方案,可以说是较为实用的。我们大

yuanyuan_186的专栏 1025

Flink实时数仓

Flink实时数仓

黑冰[̲̅V̲̅I̲̅P̅] 1135

你真的会配Hibernate吗?12个高级配置技巧曝光,资深架构师都在用

掌握Java Hibernate配置技巧,轻松应对复杂持久层性能瓶颈。涵盖二级缓存、批量处理、连接池优化等12个高级配置方案,适用于高并发、大数据量场景,显著提升系统响应速度与稳定性,值得收藏。

Algorhythm的博客 367

idea 2020 gradle 插件_从0到1,撸一个IDEA插件,So Easy!

点击上方“Java技术前线”,选择“置顶或者星标”与你一起成长来源 |https://urlify.cn/Eja6zu前段时间看到公众号一篇关于IDEA插件开发的文章,感觉写的太过于简单,所以想自己写一个IDEA插件开发的系列,从实战的角度讲解IDEA插件开发的流程。我会通过几个实际的例子演示一个插件的开发,通过几个实际的例子让玩家对于插件开发有个笼统的认识,实际例子完成后,我会从黑铁...

weixin_39620065的博客 434

为什么你的民生报告不够直观?Python可视化5步优化法曝光

掌握民生数据可视化Python技巧,让报告一目了然。本文揭秘5步优化法,涵盖数据清洗、图表选择、交互设计等关键环节,适用于社保、住房、教育等民生场景。提升表达力与决策效率,值得收藏。

ProceChat的博客 820

Python+MySQL抖音数据分析项目实战:从环境搭建到简历呈现

数据分析是现代企业决策的核心支撑技术,其原理在于通过系统化方法处理海量信息,提取有价值洞察。在技术实现层面,Python凭借Pandas、NumPy等库成为数据处理的首选工具,而MySQL作为成熟的关系型数据库,为结构化数据存储提供了可靠方案。两者的结合在数据工程领域具有重要价值,能够高效完成从数据采集、清洗、存储到分析与可视化的全链路任务。这一技术组合广泛应用于用户行为分析、业务监控报表、运营优化等典型场景。本文聚焦于一个高度仿真的抖音数据分析项目,详细拆解了如何使用Python进行数据模拟生成与ETL清

weixin_34320724的博客 397

Qwen-Ranker Pro快速上手:支持数据库直粘的文档输入规范说明

本文介绍了如何在星图GPU平台上自动化部署Qwen-Ranker Pro: 智能语义精排中心Web镜像,实现对数据库导出文本的智能语义重排序。用户可直接复制粘贴客服知识库、FAQ等结构化文本,快速获取与用户查询最相关的TOP-N答案,广泛应用于智能客服、企业知识检索等场景。

weixin_28949937的博客 305

Spring mysql多主多从_从零开始学 Java - Spring 一主多从、多主多从 数据库配置

待会苹果要开发布会我写完这篇文章就准备去看发布会了,因为我买了好几包瓜子和啤酒。由于苹果的保密做的越来越差劲,该曝光的信息差不多全部曝光了,我们这种熬夜看发布会的只不过是让这些信息更加真实,或者说是一种习惯了吧,因为每次苹果和锤子的发布会都必不可少的守着电脑看。你要问我最期待什么新产品?可能是新款的 MacBook Pro 吧。因为新款 iPhone 从曝光信息看摄像头依然凸起、白带也是存在、ID...

weixin_42307478的博客 301

大模型微调多源数据处理全攻略(格式统一核心技术曝光)

掌握大模型微调多源数据的格式统一方法,高效解决异构数据融合难题。适用于NLP、推荐系统等场景,涵盖清洗、对齐、标准化等核心步骤,提升训练效率与模型性能。方法实用,流程清晰,值得收藏。

CompiGlow的博客 437

Hive速览

一、概述 Hive由Facebook开源,是一个构建在Hadoop之上的数据仓库工具 将结构化的数据映射成表 支持类SQL查询,Hive中称为HQL 1.读模式 2.Hive架构 3.使用Hive的原因 Hadoop数据分析的问题: MapReduce实现复杂查询逻辑开发难度大,周期长 开发速度无法快速满足业务发展 使用Hive原因 类似SQL语法,使用灵活方便...

disuihuo0872的博客 308
上一篇: 一文深入了解 Redis 内存模型,Redis 的快是有原因的!
下一篇: 芋道 Spring Boot 自动配置原理
公众号-芋道源码
博客等级 码龄10年 1638粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值