慎用mysql的utf8-unicode

最新推荐文章于 2024-05-08 07:01:08 发布
原创 最新推荐文章于 2024-05-08 07:01:08 发布 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mysql

本文探讨了MySQL数据库中使用不同UTF-8编码方式的影响。通过对比utf8-unicode与utf8-general，发现后者不仅节省存储空间，还提升了查询效率。适合关注数据库性能与存储优化的技术人员阅读。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

因为编码问题，今天查了一上午，最后确认是因为mysql对中文支持不好导致的。

       使用utf8-unicode的中文标点，居然一个标点符号占用了4个字节。导致urlencode转义时地址错误。

最后改为utf8-general问题解决了.

utf8-general不但占用的空间和比unicode的少，而且查询效率也快。但是缺点就是对字符支持没有unicode的多。

生产环境Mysql推荐配置参数
隔壁老瓦的专栏
05-27 193
根据实际负载持续观察系统资源（CPU、内存、磁盘IO）和 MySQL 状态（连接数、慢查询、锁等待）。请根据实际硬件资源（如内存、CPU、磁盘类型）和应用场景调整参数。MySQL 5.7 与 8.0+ 的默认配置可能不同（如。或 Percona XtraBackup）。以下是针对生产环境的 MySQL 配置（确保总内存分配不超过物理内存（包括。+ 连接数 × 每连接内存）。）并定期备份（如使用。
本地搭建MYSQL和与.NET CORE的连接
最新发布
Ethan0_0_0的博客
07-18 904
这篇文章详细介绍了MySQL在Windows平台的安装配置及.NET Core项目集成过程。主要内容包括：1) MySQL 9.3版本的下载安装步骤，涵盖数据路径设置、root密码配置、服务设置等关键环节；2) 基础数据库操作，如创建数据库、用户及授权管理；3) .NET Core项目集成指南，包括NuGet包安装、连接字符串配置、EF Core上下文创建和使用。文章提供了完整的代码示例和配置截图，适合开发者快速上手MySQL与.NET Core的集成开发。作者表示这是个人学习记录，欢迎专业意见补充。
Mysql中的排序规则utf8_unicode_ci、utf8_general_ci的区别总结
chenzhe6622的博客
06-12 171
ci是 case insensitive, 即 "大小写不敏感", a 和 A 会在字符判断中会被当做一样的; bin 是二进制, a 和 A 会别区别对待. 例如你运行: SELECT * FROM table WHERE txt = 'a' 那么在utf8_bin中你就找不到 txt = ...
utf8_unicode_ci与utf8_general_ci的区别
春宇大数据专栏
09-23 594
当前，utf8_unicode_ci校对规则仅部分支持Unicode校对规则算法。一些字符还是不能支持。并且，不能完全支持组合的记号。这主要影响越南和俄罗斯的一些少数民族语言，如：Udmurt 、Tatar、Bashkir和Mari。 utf8_unicode_ci的最主要的特色是支持扩展，即当把一个字母看作与其它字母组合相等时。例如，在德语和一些其它语言中‘ß’等于‘ss’。 utf8_
Mysql数据库utf8_unicode_ci、utf8_general_ci、utf8_bin的区别
chonggoulian8129的博客
03-22 280
其实这个官方文档已经写得很详细了，只是对自己看到的做个简单的总结： 1，utf8_unicode_ci主要的特色是支持扩展，可以把一个字母看成两个字母的集合，在德语和一些其它语言中‘ß'等于‘ss'。 校对规则仅支持部分Unicode校对规则算法，还有部分不支持 2.utf8_gener...
mysql unicode转utf8_Unicode UTF-8 转换
weixin_29369017的博客
01-26 1043
Unicode是类似“U+4E25”或“\u4E25”的编码方式，很多情况下是4个十六进制的数，有时候不止。Unicode编码系统可分为编码方式和实现方式两个层次：编码方式：“严”的Unicode是4E25；实现方式：“严”的UTF-8是E4B8A5。Unicode的实现方式称为Unicode转换格式(Unicode Transformation Format，简称为UTF)，UTF-8(8-bi...
create database dataease; 设置 utf8mb4 命令
04-03
强制覆盖已存在数据库（慎用）** ```sql DROP DATABASE IF EXISTS dataease; -- 先删除旧库 CREATE DATABASE dataease ...（同上）; ``` --- ### **4. 服务器级默认配置（可选）** 修改 MySQL 配置文件 `my.cnf`/...
MySQL中的LIKE查询能否用的到索引
桐花思雨
01-22 9038
目录前言索引单值索引 前言 常常听说，mysql 中的 like 要慎用，因为会全表扫描，对于这句话不是很理解，只能强加记忆。这篇文章我们来一探究竟，了解 like 为什么要慎用，以及为什么会全表扫描 索引 我们从单值索引和联合索引两个方面来讨论 单值索引 数据库 SQL 脚本如下 CREATE TABLE `user` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `username` varchar(255) COLLATE utf8mb4_u
MySQL 面试题
Jsundoku的博客
03-02 4063
MySQL 面试题
Mysql中校对集utf8_unicode_ci与utf8_general_ci的区别
codemami的博客
05-08 966
在MySQL中，utf8_unicode_ci和utf8_general_ci是两种常用的校对集（collation），它们都用于处理UTF-8字符集的数据，但在比较和排序字符串时存在一些差异。虽然它在大多数情况下都能提供合理的排序和比较结果，但在处理某些特殊字符或语言时，其准确性可能不如utf8_unicode_ci。utf8_unicode_ci：虽然它的准确性更高，但由于其更复杂的排序和比较算法，通常性能稍逊于utf8_general_ci。例如，在德语和一些其它语言中‘ß’等于‘ss’。
MySQL字符集utf8、utf8mb4、utf8mb4_general_ci、utf8mb4_unicode_ci的区别
教Linux的李老师
06-01 1万+
数据库day0601 性能测试里的并发,测试百万级数据. 一.为什么要学习数据库 1. 为了方便查询数据 2. 为了持久保存数据 二.数据库的相关概念 DBMS ,DB ,SQL 答: ​ DB 数据库,保存数据的容器 ​ DBMS 数据管理系统. 银行业一般使用Oracle和DB2. DB2 是IBM的数据库产品. ​ SQL : 结构化查询语句. 测试的角度是站在用户角度的,测试过程中尽量不使用数据库进行数据操作. 三.数据库存储数据的特点 表是放在数据库里面的; 数据是存放在表
mysql unicode转换为中文_中文转换成Unicode编码 和 Unicode编码转换为中文
weixin_39533307的博客
01-19 2548
前几天，遇到一个问题，就是在浏览器地址栏传递中文时，出现乱码，考虑了一下，解决方式有很多，我还是采用了转换编码的方式，将中文转换为Unicode编码，然后再解码成中文，以下是实现的过程，非常简单！package cy.code;public class CyEncoder {private String zhStr; //中文字符串private String unicode;//将中文字符串转换...
mysql conmand unicode,在命令行中的Unicode转义序列MySQL
weixin_35715440的博客
02-06 324
Short version:What kind of escape sequence can one use to search for unicode characters in command line mysql?Long version:I'm looking for a way to search a column for records containing a unicode seq...
utf8mb4_general_ci Cause: java.sql.SQLException: Illegal mix of collations (utf8mb4_general_ci,IMPLI
CarloPan的博客
10-10 2180
org.springframework.jdbc.UncategorizedSQLException: ### Error querying database. Cause: java.sql.SQLException: Illegal mix of collations (utf8mb4_general_ci,IMPLICIT) and (utf8mb4_unicode_ci,IMPLICIT) for operation '=' ### The error may involve defaul...
mysql中文转unicode_MySQL入门(内含Mac安装文件及教程）
weixin_39987120的博客
12-05 230
问题1:什么是数据库？什么是关系型数据库，有哪些关系型数据库管理系统？数据库可以存储数据、优化读写关系型数据库由大量表格组成，表与表之间有关联；Mysql、SqlServer、Oracle等都属于关系型数据库管理系统问题2: MySQL以及Navicat安装教程(Mac）MySQL 安装教程:MySQL 安装教程​zhuanlan.zhihu.comNavicat 安装教程:1、获取并打开安装包，...
unicode转中文mysql函数_Unicode编码与中文互转
weixin_32296621的博客
01-19 2170
直接贴上一个我写的小程序实例，包含了两个方法，能够实现中文与Unicode编码的转换package com.Demo;import java.util.Scanner;public class Demo04 {public static void main(String args[]){Scanner sc=new Scanner(System.in);//测试中文转UnicodeSystem.o...
MySql处理Unicode字符串
热门推荐
lzh_86的博客
03-13 1万+
进行数据采集的时候，处理Unciode是件麻烦的事情。默认的情况下，MySql也不支持Unicode字符处理（可以自己设置）。所以可以在一开始让数据库支持Unicode(数据库的表在最后) ALTER DATABASE scraping CHARACTER SET = utf8mb4_unicode_ci; ALTER TABLE pages CONVERT TO CHARACTER SE...
mysql中utf8mb4_unicode_ci的坑
u010309596的博客
04-03 1万+
正常的名字都没错误。同事有emoji表情的名字查询炸了。如下错误Cause: java.sql.SQLException: Illegal mix of collations (utf8_general_ci,IMPLICIT) and (utf8mb4_unicode_ci,COERCIBLE) for operation 'like'\n; uncategorized SQLException...
C++ UTF-8 与wchar_T
06-19
<think>我们正在讨论C++中UTF-8编码与wchar_t的关系和使用场景。根据引用[1]和引用[3]，我们可以总结如下：1.**wchar_t的不可移植性**：引用[1]指出，wchar_t在实践中是不可移植的。因为wchar_t的大小是由实现定义的（可能是2字节或4字节），这导致使用wchar_t处理宽字符字符串时，在不同平台上的行为可能不一致。例如，如果游戏使用16位的UCS2编码（许多游戏确实这样做），那么就不能依赖标准库的宽字符串函数，因为wchar_t在某些平台上可能是32位（如Linux、macOS），而在Windows上是16位。因此，许多项目会重新实现整个字符串库以确保可移植性。2.**UTF-8编码的优势**：UTF-8是一种变长编码（1到4字节），它兼容ASCII，并且没有字节序问题（引用[3]提到Unicode标准）。UTF-8在存储和传输效率上对于以拉丁字符为主的文本有优势，而且它在网络通信和文件存储中被广泛使用。3.**使用场景对比**：-**UTF-8**：适用于需要跨平台、网络传输、文件存储的场景。由于它使用char类型（单字节）存储，可以与现有的C字符串函数和库兼容，但处理字符时需要解析变长编码（如获取字符数或截取子串需要特殊处理）。-**wchar_t**：在Windows平台上，wchar_t是16位（对应UTF-16编码），可以方便地处理基本多文种平面（BMP）内的字符（包括常用中文字符）。但是，对于辅助平面字符（如一些生僻字或Emoji），UTF-16也需要使用代理对（两个16位单元），因此也变成变长编码。在非Windows平台上，wchar_t通常是32位（对应UTF-32编码），可以固定4字节表示所有字符，但内存占用较大。4.**转换与互操作**：C++11引入了`std::wstring_convert`和`std::codecvt`（但C++17已弃用）来进行UTF-8和宽字符之间的转换。现在推荐使用第三方库（如ICU、iconv）进行编码转换。5.**当前最佳实践**：-跨平台项目倾向于使用UTF-8作为内部字符串编码（使用`char`存储），仅在需要与平台API交互时转换为宽字符（如WindowsAPI要求UTF-16）。-在Windows上，可以使用`MultiByteToWideChar`和`WideCharToMultiByte`进行UTF-8和UTF-16的转换。总结：UTF-8是更通用、更便携的编码，而wchar_t在特定平台（如Windows）上有一定优势，但可移植性差。现代C++项目应优先考虑UTF-8，仅在必要时使用宽字符。下面根据要求组织回答：</think>### C++ 中 UTF-8 与 `wchar_t` 的关系及使用场景 #### 1. **核心差异** | **特性** | **UTF-8** | **`wchar_t`** | |----------------|----------------------------------------|----------------------------------------| | **编码方式** | 变长编码 (1-4 字节/字符) | 固定宽度 (Windows: 2 字节; Linux: 4 字节) | | **内存占用** | 英文 1 字节，中文 3 字节 | 统一宽度 (可能浪费空间) | | **可移植性** | ✅ 跨平台一致 | ❌ 平台相关 (Windows UTF-16, Linux UTF-32) [^1] | | **标准库支持** | ✅ `std::string` 直接存储 | ✅ `std::wstring` 但需平台适配 | | **字节序** | ❌ 无字节序问题 | ⚠️ 需处理字节序 (BOM) | #### 2. **使用场景对比** - **UTF-8 适用场景**： - **网络传输/文件存储**：兼容 ASCII，无字节序问题。 - **跨平台开发**：在 Linux/macOS/Web 中作为事实标准。 - **内存敏感场景**：拉丁文本比 `wchar_t` 节省 50%-75% 内存。 ```cpp // UTF-8 中文字符处理示例 std::string utf8_str = u8"中文测试"; std::cout << "字节数: " << utf8_str.size(); // 输出 12 (4字符×3字节) ``` - **`wchar_t` 适用场景**： - **Windows API 交互**：Windows 系统 API 普遍要求 UTF-16。 - **固定宽度需求**：简化字符定位 (但 BMP 外字符仍需代理对)。 ```cpp // Windows 宽字符使用示例 std::wstring wstr = L"中文测试"; MessageBoxW(NULL, wstr.c_str(), L"标题", MB_OK); // 需宽字符 API ``` #### 3. **关键问题解析** 1. **可移植性陷阱** `wchar_t` 在 Windows 是 2 字节 (UTF-16)，Linux/macOS 是 4 字节 (UTF-32)。直接使用 `std::wstring` 跨平台会导致： - 数据损坏：如 Linux 读取 Windows 的 UTF-16 文件 - 性能损失：UTF-32 比 UTF-8 多消耗 2-4 倍内存 [^1] 2. **转换必要性** 需在系统边界进行编码转换： ```cpp // UTF-8 转 UTF-16 (Windows) std::string utf8_str = u8"你好"; int len = MultiByteToWideChar(CP_UTF8, 0, utf8_str.c_str(), -1, NULL, 0); std::wstring wstr(len, 0); MultiByteToWideChar(CP_UTF8, 0, utf8_str.c_str(), -1, &wstr[0], len); ``` 3. **现代 C++ 最佳实践** - 优先用 UTF-8 作为内部存储 (`char` + `std::string`) - 仅在调用平台 API 时转 `wchar_t` - 使用跨平台转换库 (如 ICU, `std::codecvt` (C++17 前)) #### 4. **性能与内存对比** | **文本类型** | UTF-8 | `wchar_t` (Win) | `wchar_t` (Linux) | |-------------|--------|-----------------|-------------------| | 英文 (100字符) | 100 字节 | 200 字节 | 400 字节 | | 中文 (100字符) | 300 字节 | 200 字节 | 400 字节 | | 混合文本 | 150 字节 | 200 字节 | 400 字节 | > 💡 结论：UTF-8 在非 CJK 场景优势明显，`wchar_t` 仅推荐用于 Windows 系统交互。 #### 5. **替代方案** - **C++11/17 新类型**： - `char16_t`/`std::u16string`：明确 UTF-16 - `char32_t`/`std::u32string`：明确 UTF-32 ```cpp std::u16string utf16_str = u"中文"; // 明确 UTF-16 std::u32string utf32_str = U"中文"; // 明确 UTF-32 ``` - **第三方库**： 如 [ICU](http://site.icu-project.org/) 提供完整的 Unicode 支持，解决标准库局限。 --- ### 总结建议 | **场景** | **推荐方案** | |-------------------------|--------------------| | 跨平台应用内部存储 | ✅ UTF-8 + `std::string` | | Windows GUI 开发 | ✅ `wchar_t` (临时转换) | | 处理 Emoji/生僻字 | ✅ UTF-8 或 ICU 库 | | 高频随机访问字符 | ⚠️ 慎用 `wchar_t` (Linux UTF-32 可用) | > 始终避免直接使用 `wchar_t` 跨平台存储数据[^1]，优先选择 UTF-8 作为核心编码，仅在系统调用边界转换。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值