简述MySQL 编解码原理!!

音视频编解码学习之编解码框架 1. 压缩码流 语法:码流中各个元素的位置关系01001001…图像编码类型(01),宏块类型(00),编码系数1001等 语义:每个语法元素所表达的意义。例如:图像编码类型 2. 编码层次 序列(Sequence) 图像组(Group of Pictures,GOP) 图像(Picture) 条带(Slice) 宏块(Macroblock,MB) 块(Block) 3. 码流结构 4. PB帧编码 5. 序列编码对象 (1)IBBP序列 序列... 阅读详情

前言

一位读者在本地部署 MySQL 测试环境时碰到一个问题,我觉得挺有代表性的,所以写篇文章介绍一下,看完相信你会对 MySQL 的编码机制有最本质的了解,本文的目录结构如下

  1. 读者问题简介

  2. MyQL 编解码机制介绍

  3. 问题解答

读者问题简介

为叙述方便,以下的「我」指代读者

我们知道在 Java 中是通过  JDBC 来访问数据库的,以访问 MySQL 为例,需要配置以下 url 才能访问 MySQL

jdbc:mysql://10.65.110.9:3306/test?connectTimeout=5000&socketTimeout=20000

这样配置之前在我司的测试环境中 CRUD 是没有问题的,但是后来想在个人的机器上部署一下 MySQL 环境就出问题了,首先为了保证数据的完整性,我将公司测试机的 SQL 全部导出后再导入到个人的 MySQL 环境中,但是诡异的事情发生了:此时在 Java  工程中如果查询的 SQL 中都是英文是可以正常工作的,但如果包含中文(比如 SELECT * FROM USER WHERE name = '张三')是无法查询到结果的。

碰到这种情况,一般我们会想到是编码转换出现了问题,相信聪明你不难发现上面的 jdbc url 似乎少了点什么,没错,就是没有指定编码方式,只要按如下方式指定了编码方式(characterEncoding=UTF-8)即可正常工作

jdbc:mysql://10.65.110.9:3306/test?connectTimeout=5000&socketTimeout=20000&characterEncoding=UTF-8

至此问题也就解决了,但奇怪的是之前为什么没指定编码方式也是可以的呢,应该是 server 指定了编码方式,在哪指定的?要回答这个问题,就必须得对 MySQL 的编码机制有所了解

MyQL 编解码机制介绍

我们先来看看 MySQL 中涉及到哪些编码流程,假设客户端用的是 UTF-8 编码,那么发送一条 SQL 语句会发生如下的编解码流程:

图片

  1. 假设此时的客户端为 Java 工程,用的是 intellj idea,其默认编码为 UTF-8,那么执行后这条语句会首先被 UTF-8 编码,然后再将其转成 unicode,在 Java 中所有的 String 都是以 unicode 字符存在的,然后再将 unicode 转为用 character_set_client 来编码

  2. character_set_client 编码后是以二进制流的形式传到 MySQL 服务器的,然后再用 character_set_connection 解码,然后 MySQL 引擎(比如 innodDB 引擎)会对这条语句进行语法,词法解析,执行操作

  3. 执行后的结果会转为 DB 的编码入库

  4. 如果是 SELECT * FROM t 这样的查询操作,那么数据会从 DB 中解码后再用 character_set_connection 编码,再转为用 character_set_result 编码传给客户端,客户端再用 UTF-8 解码得到正常结果

先简单介绍一下上述步骤中涉及到的编码集

  1. character_set_client:  客户端最终发送到服务端 SQL 所采用的编码字符集

  2. character_set_connection: MySQL 服务端收到步骤 1 编码后的二进制流后采用的编码字符集,会将步骤 1 传过来的数据进行解码。一般与 character_set_client 是一样的,有人可能会奇怪,为什么会有这个字符集,直接用 character_set_client 来解码不就行了,它存在的意义是啥呢?其实主要是为了作用上的的分离,character_set_client 主要用来客户端的编码,而 character_set_connection 主要是为了赋予开发人员解析语义的自由,比如考虑 SELECT LENGTH('中') 这样的场景,如果采用 GBK 一个汉字 2 个长度,结果是 2,而如果是 UTF-8 编码,则结果是 3,所以额外设定一个 character_set_connection 编码,让开发人员可以根据需要更自由地定义不同的业务场景

  3. character_set_result: 结果集返回给客户端采用的编码字符集

知道了以上各个字符编码集所代表的释义,现在就可以轻松解释开头的问题了,我们知道对 MySQL 来说,操作无非就是增删改查,所以主要有以下两个转化流程

  1. 如果是增删改操作,流程为:客户端--->character_set_client--->character_set_connection---->DB

  2. 如果是查操作,客户端--->character_set_client--->character_set_connection---->DB---->character_set_result

如果这两个转化流程对应的每一步都是无损转换,那么结果集就没有问题的

什么是无损转换

假设我们要把用编码 A 表示的字符 X,转化为编码 B 的表示形式,而编码 B 的字符集中并没有 X 这个字符,那么此时我们就称这个转换是有损的,如果在 B 的字符集都能找到 A 中的字符,那么就是无损的,所以最简单的方式就是将每个步骤对应的编码字符集都设置成一样的,比如都设置成 UTF-8,这样就肯定没问题了。

开头的问题解答

现在回过头来看一下开头的问题,为什么将 DB 数据从公司的测试机导入到个人机器后,如果 SQL 中包含有中文查询如下 jdbc url 的配置会导致原本正常返回的结果集失效呢?

jdbc:mysql://10.65.110.9:3306/test?connectTimeout=5000&socketTimeout=20000

显然是客户端--->character_set_client--->character_set_connection---->DB---->character_set_result 这个步骤中的结果集发生了有损转换,到底是哪一步呢?

DB 表数据采用的编码都是 UTF-8,如果只要搞清楚 character_set_client,character_set_connection,character_set_result 这三个编码字符集是啥问题就解决了,这个问题的答案得去官网找,来看下官网是怎么说的

The character encoding between client and server is automatically detected upon connection (provided that the Connector/J connection properties characterEncoding and connectionCollation are not set). You specify the encoding on the server using the system variable character_set_server (for more information, see Server Character Set and Collation). The driver automatically uses the encoding specified by the server.

To override the automatically detected encoding on the client side, use the characterEncoding property in the connection URL to the server. Use Java-style names when specifying character encodings. The following table lists MySQL character set names and their corresponding Java-style names:

从中我们可以看到,如果未设置 characterEncoding,那么 character_set_client,character_set_connection,character_set_result 这三的编码字符集与 character_set_server 的设置相同,如果设置了 characterEncoding,那么这三者的值与 characterEncoding 相同,这就是为什么指定了characterEncoding=utf8后 SQL 能正常工作的原因了,

那为什么不指定 characterEncoding=utf8 在公司的测试 MySQL 服务器中可以正常工作呢,显然是设置了 character_set_server,在哪设置?在 MySQL 的配置文件 my.cnf 设置

## my.cnf

[mysqld]
character-set-server=utf8

再来看为什么在个人的测试机中包含有中文的 SQL 却不生效呢,因为个人的测试机当时用 docker 搭了一个 MySQL,它的 my.cnf 文件是空的,这种情况下 character-set-server 编码字符集是 latin,于是 character_set_client,character_set_connection,character_set_result 这三者的编码字符集也都为 latin 了,显然在第一步客户端转 chacacter_set_client 就出现了问题

图片

我们之前提过在 Java 中所有的字符串都以 unicode 形式存在,而 latin 字符集是不包含中文的,那么显然中文的 unicode 在 latin1 中是找不到对应的字符的,这一步就会发生有损编码,这就是为什么在个人的机器上执行带有中文的 SQL 会出异常的根本原因!

所以问题的根因本质上是因为迁移不完整导致的,只迁移了 DB 数据,但没有把 my.cnf 这个配置文件也完整地拷过来!拷过来之后问题就解决了

总结

知道了 MySQL 编解码机制,之后再碰到类似的问题就比较简单了,比如乱码,显然就是上述步骤中的步骤发生了有损编码

Lyra:基于生成式AI的超低码率语音编解码器原理与应用 语音编解码器是语音通信与音频流媒体的核心技术,其原理在于对语音信号进行高效压缩与重建,以实现低带宽下的高质量传输。传统参数编码技术在码率降至3kbps以下时,面临语音自然度与鲁棒性的显著下降。而基于生成式人工智能的神经音频编解码技术,通过卷积神经网络(CNN)提取高级声学特征,并利用向量量化(VQ)进行极致压缩,最后借助神经声码器(如WaveNet)从稀疏特征中生成高自然度语音波形。这项技术的核心价值在于,能在1.6kbps至3.2kbps的超低码率下,大幅提升语音可懂度与自然度,为卫星通信、物联网设备语音 阅读详情

相关推荐

使用MySQL进行解码体验

MySQL提供了强大的解码功能,通过创建解码表、插入待解码数据、编写解码函数以及解码数据,我们可以轻松地对数据进行解码操作。这个查询将使用解码函数decode_data对encoded_data字段中的数据进行解码,并将解码结果更新到decoded_data字段中。接下来,我们需要编写一个解码函数,该函数将接受待解码的数据作为输入,并返回解码后的结果。首先,我们需要创建一个解码表,该表将存储待解码的数据以及解码后的结果。这个查询将返回解码表中所有记录的内容,包括待解码的数据和解码后的结果。

ThDebug的博客 187

MySql笔记-基础篇-编码、解码与乱码

1.编码、解码与乱码的由来 编码 计算机系统的本质是一堆的0和1组成的,计算机也只认识0和1。在计算机内部,0代表开关断开,即低电压状态,1代表开关闭合,即高电压状态, 通过高低电压的变化表示01的变化。 计算机只能识别0和1,但是人却可以识别非常多的信息,那么如何使用计算机来帮助人类工作呢? 人们给计算机中的状态赋予了特定的含义,比如1和0代表两种状态,那么两位的1和0就可以代表4中状态,以此类推,假如我想表示东南西北,那么在计算机中可以使用00表示东、01表示南、10表示西,11表示北。经过这样规定以

luffysk的博客 331

解密MySql密码的破解过程

研究MYSQL数据库的加解密方式,在网络攻防过程中具有重要的意义;试想一旦获取了网站一定的权限后,如果能够获取MYSQL中保存用户数据,通过解密后,即可通过正常途径来访问数据库;一方面可以直接操作数据库中的数据,另一方面可以用来提升权限。

五分钟看懂 MySQL 编解码原理

前言 一位读者在本地部署 MySQL 测试环境时碰到一个问题,我觉得挺有代表性的,所以写篇文章介绍一下,看完相信你会对 MySQL 的编码机制有最本质的了解,本文的目录结构如下读者问题简介...

weixin_41385912的博客 893

利用Nginx反向代理实现GitLab自定义域名的高效配置

本文详细介绍了如何利用Nginx反向代理实现GitLab自定义域名的高效配置。通过统一域名管理、性能优化和安全加固,提升GitLab的访问效率和安全性。文章包含前期准备、GitLab基础配置、Nginx反向代理设置及常见问题排查,帮助开发者快速完成部署。

weixin_28834169的博客 165

开关变换器分析:大信号模型与小信号模型

是电力电子系统建模中的两类基本方法,分别用于描述系统在不同工作条件下的动态行为。它们的核心区别在于是否对变量进行线性化近似,以及适用的分析场景。

创新改变世界! 1914

mysql的 字符集和编码解码

j假如中间使用了 不同的 字符集 比如 unix系统和 wodows 系统发送一个‘你’ 具体流程是这样 我请 球请求 character_set_client---->charcter_set_connerction------->charcter_set_connerction ---->展示给你 一般都会把这3个 东西设置一样 保持一致 避免出现 一些 错误 如何 设置 在启动 mysql default-charset-set=utf-8。可以看mysql支持的字符集;各级别的字符集和比较规则。

weixin_51260368的博客 212

告别单一帧:在CFD-POST中完整加载Fluent瞬态计算结果的实战指南

本文详细介绍了在CFD-POST中完整加载Fluent瞬态计算结果的实战指南,解决工程师常见的只能看到最后一帧数据的问题。通过Fluent端的正确设置和CFD-POST端的完整加载技巧,帮助用户高效处理瞬态数据,提升后处理效率。文章还提供了常见问题排查、性能优化和高级后处理技巧,适用于Workbench环境下的流体流动分析。

weixin_29284657的博客 540

从零开始学Mysql - 字符集和编码

小编也是很有感触,如果一直都是在中小公司,没有接触过大型的互联网架构设计的话,只靠自己看书去提升可能一辈子都很难达到高级架构师的技术和认知高度。向厉害的人去学习是最有效减少时间摸索、精力浪费的方式。我们选择的这个行业就一直要持续的学习,又很吃青春饭。虽然大家可能经常见到说程序员年薪几十万,但这样的人毕竟不是大部份,要么是有名校光环,要么是在阿里华为这样的大企业。年龄一大,更有可能被裁。送给每一位想学习Java小伙伴,用来提升自己。

VIP129370的博客 1337

876-基于STM32的毫米波雷达智能睡眠监测系统

基于STM32的毫米波雷达智能睡眠监测系统通过非接触式毫米波雷达检测人体呼吸频率和体动次数,结合WIFI数据传输和OLED显示,实现睡眠质量分析与远程监控。系统核心功能包括生理参数采集、阈值设置、数据可视化及远程交互。

m0_50083169的博客 1545

从数据手册到代码:一步步解读SC7A20寄存器配置与加速度值换算原理

本文详细解析了SC7A20三轴加速度传感器的寄存器配置与加速度值换算原理。从数据手册出发,逐步拆解关键寄存器设置,并推导原始ADC值到物理加速度的完整换算过程,帮助开发者深入理解传感器底层工作原理,提升嵌入式开发效率。

weixin_29179311的博客 370

五分钟看懂 MySQL 编解码原理!

为叙述方便,以下的「我」指代读者我们知道在 Java 中是通过 JDBC 来访问数据库的,以访问 MySQL 为例,需要配置以下 url 才能访问 MySQL这样配置之前在我司的测试环境中 CRUD 是没有问题的,但是后来想在个人的机器上部署一下 MySQL 环境就出问题了,首先为了保证数据的完整性,我将公司测试机的 SQL 全部导出后再导入到个人的 MySQL 环境中,但是诡异的事情发生了:此时在 Java 工程中如果查询的 SQL 中都是英文是可以正常工作的,但如果包含中文(比如。

jcc4261的博客 668

【技术科普】破解政务跨系统数据壁垒!亘川一网统管平台多源数据同步技术解析

本文解析亘川一网统管平台多源数据同步技术,针对政务跨系统数据壁垒难题,介绍组件的数据采集、校验、审计留痕等核心能力,结合营商环境项目落地案例,对比传统开发模式差异,讲解开源组件的实践价值,为政务项目开发者提供落地参考。

weixin_67440240的博客 637

可变编解码网络的数学原理

本节我们介绍可变编解码器内部运行的数学原理,了解了这些原理,我们才能明白可变编解码器的设计思想。首先我们需要介绍信息量的概念,它来自于信息论(1): 在(1)中x代表我们实验的结果,p(x)表示实验出现给定结果的概率,例如丢一枚硬币,那么我们用x=1表示出现正面,x=0表示出现负面。于是根据(1)一次丢硬币后实验对应的信息量就是-log(1/2) = 1,我们常用比特来作为信息量的单位。第二个需...

tyler_download的专栏 916

RT-DETR 模型剪枝优化:结构化剪枝对 R18/R50 性能的影响

本文提出分层结构化剪枝策略R18:参数量减少 42%(28M→16.2M),推理速度提升 35%(15→20.3 FPS@Jetson Nano),mAP@0.5 仅降 1.2%;R50:参数量减少 55%(170M→76.5M),推理速度提升 48%(42→62.2 FPS@T4),mAP@0.5 仅降 2.1%。核心价值:为 RT-DETR 提供“精度-效率-部署”平衡的轻量化方案,推动其在边缘设备、工业质检等场景的大规模落地。部署建议。

走向CTO的路上... 466

AI 赋能 DBA:如何用 DeepSeek 等大模型简化数据库管理工作

数据库管理员(DBA)的工作涉及 SQL 优化、故障排查、性能监控等复杂任务。而 DeepSeek、ChatGPT 等大模型可以大幅减少重复劳动,提高 DBA 的工作效率。:某电商平台的订单查询 SQL 执行缓慢(平均 5s),DBA 需要优化。:DBA 需要监控 MySQL 的慢查询,但不想手动写脚本。:某金融系统频繁出现数据库死锁,DBA 需要快速定位原因。:大模型可分析 SQL 执行计划,推荐索引优化方案。:用日常语言查询数据库,无需写复杂 SQL。:一键生成监控、备份、数据迁移脚本。

专注于编程、AI、人工智能等多个领域内容研究和分析 566

【MySQL】MySQL乱码全面解析

mysql乱码初探

zwan0518的专栏 858

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

r2dbc-mysql 自定义 Codec 扩展:手写 JSON 编解码器的完整教程

r2dbc-mysql 是一个基于 R2DBC 规范的 MySQL 响应式驱动,内置了丰富的数据类型编解码器,但当面对 JSON、枚举对象、自定义业务类型等场景时,你常常需要**自定义 Codec 扩展**。本教程将以手写一个 JSON 编解码器为例,带你完整掌握 r2dbc-mysql 扩展机制的原理与实战步骤,让普通用户也能轻松为驱动"插上"自己的类型转换能力。 ## 为什么需要自定义 Co

gitblog_01010的博客 365

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Base64编解码原理及AES加解密算法的使用

Base64编解码原理及AES加解密算法的使用 Base64编解码 1英文字符=1字节=8位 Base64编码原理:将要编码的二进制(字符串、图片等都可以转换成二进制格式表示)把3个8位字节以4个6位的字节表示,然后把每个6位字节都转换成一个单独的数字并映射到base64码表中的一个字符。如果最后剩下的字节不足3个,则在后面补0,补0转换的字符用“=”表示,故编码后输出的字符串末尾可能...

go_pkqL00的博客 547

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

直播技术中的编解码、直播协议、网络传输与简单实现

Live CheatSheet | 直播技术理论基础与实践概论 音视频直播的基本流程都是采集 → 编码推流 → 网络分发 → 解码 → 播放这五大环节,其中又会涉及平台硬件、编解码、网络传输、服务并发、数字信号处理、在线学习等多方面技术。从交互模式上,又可以泛分为单对单模式与会议模式两大类;从实时性要求上,直播又可以分为伪实时、准实时与真实时三个等级: 伪实时:视频消费延迟超过 3 秒,单向观...

livelone的博客 1万+

五分钟教你彻底理解MySQL字符集原理

一文讲清楚计算机编码、乱码原理,从0101 -> 到ASCII码编码 -> 到Unicode编码的发展史。 最后讲解基于Unicode的编码方式UTF-8,以及utf8、utf8mb4的区别

云舒编程的博客 973
上一篇: Spacedrive :开源跨平台文件管理器!
下一篇: 市场上最受欢迎的八种编程语言!!
架构文摘JGWZ
博客等级 码龄5年 8808粉丝 345原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值