读取unicode编码文件的乱码解决

最新推荐文章于 2024-08-28 22:43:45 发布
原创 最新推荐文章于 2024-08-28 22:43:45 发布 · 4k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#c/c++ #数据库 #c#

本文介绍了ANSI、UNICODE、UNICODE big endian和UTF-8四种文本文件编码方式的区别，并以中文"你好"为例，详细解释了Unicode和UTF-8编码的工作原理。在处理Unicode编码文件时，读取文件流需指定encoding为unicodelittle，而写文件时，encoding指定为unicode会产生unicode big endian格式，需注意相应设置。

首先，有必要了解下记事本文件的几种编码方式：

 


 

四种常见文本文件编码方式研究

ANSI、UNICODE 、UNICODE big endian、UTF-8四种格式编码存在差别，简要介绍如下:

ANSI编码:

无文件头(文件编码开头标志性字节)    

ANSI编码字母数字占一个字节，汉字占两个字节，

回车换行符 单字节   十六进制表示为0d  0a

 

UNICODE编码:

文件头，十六进制表示为FF FE

每一个字符都用两个字节编码

回车换行符  双字节   000d  000a

 

Unicode big endian编码:

文件头十六进制表示为FE FF ，

后面编码是把字符的高位放在前面，低位放在后面，正好和Unicode编码颠倒。

回车换行符,双字节,十六进制表示为0d00  0a00

 

UTF-8 编码:

文件头，十六进制表示为EF BB BF。

UTF-8是Unicode的一种变长字符编码，数字、字母、回车、换行都用一个字节表示,汉字占3个字节.

回车换行符，单字节，十六进制表示

最低0.47元/天 解锁文章
Java读取TXT文本文件乱码解决方案(1).doc
07-23
这样一来，当文件是Unicode编码时，通过指定“UTF-16”编码读取，乱码问题得到了解决。 在实际应用中，为了动态地处理不同编码的TXT文件，可能需要程序先读取文件的部分字节来判断文件的编码格式。例如，通过读取...
C#读取中文文件出现乱码的解决方法
09-03
以下是一些解决C#读取中文文件出现乱码的方法： 首先，了解文件的编码格式至关重要。常见的中文编码有GBK（GB2312）和UTF-8。在C#中，`StreamReader` 是用于读取文本文件的主要类，它接受一个编码参数来指定文件的...
[原创]解决Unicode的乱码问题
lugaofeng123的专栏
12-19 1513
<br />    今天练习孙鑫老师MFC视频中第五章的文本编辑程序时遇到了一个很令人蛋疼的问题，就是Unicode版本的问题，会出现乱码，大家都知道中文是2个字节的，如果按照非Unicode字符处理，就会出现乱码，试了半天，终于解决，现在把我遇到的问题以及解决方法整理一下：（以孙鑫老师视频中例子为例）大家也可以创建SDK工程，关键是掌握方法。<br /> <br />    1。先新建一个工程<br />    2。然后按照视频写好代码，当输入英文时，一切好好的，我想输入中文试试，问题来了，这时按下退格键
Unicode编码完全探究（三）之联通乱码
weixin_34357436的博客
12-02 379
一、文章来由 这个乱码问题很早以前就发现了，其实就是编码的问题导致~~~ 二、现象 新建一个文本文档，输入“联通”二字(不带引号)，然后保存、关闭，再重新打开。你发现了什么？没错，“联通”二字已经变成了乱码“��ͨ”，那么为什么会产生这种情况呢？这就要涉及到字符编码的问题了。 三、原因 　　在计算机技术刚出现的时候，只...
编码，解码，乱码，unicode码
Ma_Hong_Kai的博客
11-26 818
字符编码 一、为什么需要字符编码？ 啥意思，就是不同国家为了需求整出ASCII、OME、DBCS、GBK，然后即出现了Unicode。 二、各种编码 1、单字节编码： ASCII字符集由95个可打印字符（0x20-0x7E）和33个控制字符（0x00-0x19，0x7F）组成。 OME：0x00~0x7F这个范围的解释基本是相同的，而对于后半部分0x80~0xFF的解释却不一...
使用Unicode字符集出现乱码问题
face_to的专栏
08-11 5697
MFC中Unicode与ASCII码转换 Unicode码与ASCII码      Unicode码：Unicode码也是一种国际标准编码，采用二个字节编码，与ASCII码不兼容。它前128个字符就是ASCII码，之后是扩展码。      ASCII码：American Standard Code for Information Interchange，美国信息交换标准代码。标准ASCII ...
使用Unicode字符集时用CFile把中文写入txt文件再用记事本打开出现乱码的问题
howesao的专栏
12-04 1273
使用Unicode字符集时用CFile把中文写入txt文件再用记事本打开出现乱码的问题   新建一个记事本，写入“中”，另存为ANSI.txt，编码选ANSI；再次另存为Unicode.txt，编码选Unicode。把这两个文件用UltraEdit的十六进制功能打开（编辑 -> 十六进制功能 -> 十六进制编辑），如下图所示： 打开VS（我用的是VS2005），设定字符集为
UNICODE程序写文件出现乱码
iinsky的专栏
12-07 740
在程序中使用的是UNICODE编码，写入文件时如果存在中文就会出现乱码，原因是写入文件内容变成了ANSI编码，解决的办法是将需要写入文件的内容首先转换成宽字符然后再转换UTF-8编码。代码如下： std::string WideToUTF8(const std::wstring& _src) { int nBufSize = WideCharToMultiByte(CP_UTF8, 0
Java读取TXT文本文件乱码解决方案.doc
09-30
本文提供了 Java 读取 TXT 文本文件乱码解决方案，并讨论了 TXT 文件的编码格式和获取编码格式的方法。 知识点： * Java 读取 TXT 文本文件时可能出现乱码的问题 *乱码的问题是由于文件的编码格式引起的 * 使用 ...
iOS读取txt文件出现中文乱码的解决方法
09-01
总结，解决iOS读取TXT文件中文乱码问题的关键在于理解不同编码格式的适用场景，并确保在读取文件时选择正确的编码。通过在Mac上重新创建文件和选择合适的编码格式，可以有效地避免乱码问题，保证文本数据的正确读取...
CStdioFile UNICODE编译 读取中文汉字乱码解决办法
weixin_30546189的博客
12-20 347
1CStdioFilefile2//设置语言为中文,否则在Unicode编码下读出中文字符为乱码3char*old_locale=_strdup(setlocale(LC_CTYPE,NULL));4setlocale(LC_CTYPE,"chs");5file.Open(strOutputFile,CStdioFile::modeRead);6file.Read...
unicode编码存在转义字符,导致乱码问题的解决方案
Lucky小小吴的小屋
08-28 1376
【问题】后端针对一个字符串进行unicode编码后的，前端解码后出现乱码问题。本篇是为了记录一次解码出现乱码的解决方案，篇幅较短，废话不多说，请食用。unicode编码后的字符串，直接交给前端解码，会出现乱码的。后端需要做一些处理，记得做好异常抛出处理。解码后，就直接传给前端展示。
「计算机知识随记」Unicode 与 UTF-8 和仍然存在的乱码问题
mizuhokaga的博客
09-22 561
中文维基百科对Unicode 的定义是:如果有一种编码，将世界上所有的符号都纳入其中。每一个符号都给予一个独一无二的编码，那么乱码问题就会消失。这就是Unicode，就像它的名字都表示的，这是一种所有符号的编码。可是在Unicode已经发布的(Unicode1991年发布,UTF-8 是 1993 年初发布)三十年中,编码问题并没有解决,我仍然会遇到编码问题?为什么呢?
中文文件名乱码
aalbertini的专栏
02-27 839
用FindNextFile系列api， 遍历目录， 将得到的文件名（unicode）保存在WTL::CString字符串中   使用ofstream o(); USES_CONVERSION; _acp = CP_UTF8; o       读取时， 使用的是ifstream + char buffer; 逐行读到char buffer中之后， 将文件名部分从utf8转为un
打印unicode汉字编码字符串为乱码怎么办？
warrior2017的博客
05-28 874
应用代码中使用了unicode编码来使用汉字，现在需求是想把这些汉字抓出来调试。 传统使用%s打印出来的是乱码，到底该怎么办呢？ 解决办法： 假如原字符串传递的指针为char * text，新建一整型指针强制转化下即可： unsigned int *p = (unsigned int *)text; printf("%08x%08x\n", *p, *(p+1)); 后续如果需要使用，可以使用ue的列模式将打印出的内容方便地整理成数组，即可调用。 int array[2]={0x6f7c4e34,0x003
关于读取 Unicode文件
梦里花
12-19 1055
以前做开发的过程中，遇到读取文件的情况，基本都是ANSI文件，而没有遇到过UNICODE文件。最近在读取UNICODE 的文件过程中，却遇到了一些意想不到的问题。现总结如下：（1）文件的打开模式，读取ANSI文件时候，fopen(,"r"),CFile(,modeRead),其默认情况下是按文本模式来进行读取。但是如果在文本模式下去wchar_t去读取数据，却经常发生一些意想不到的
UTF-8 ANSI Unicode Unicode big endian 乱码 文件格式 文件头
月无尽
03-11 769
UTF-8 ANSI Unicode Unicode big endian 乱码 文件格式 文件头 推荐一篇文章   #Unicode详解#    http://blog.charlee.li/unicode-intro/ 标题相关的东西都会在里头讲到。 文章中说的记事本，就是windows里附件的记事本，选择保存或另存为时可以选择保存的4种格式。 这个以前做wince时没注意到，每次
如何读取Unicode文件
maxiaosheng521的专栏
05-13 990
分别在Unicode和非Unicode环境下按行读取Unicode文件 #define TEXT_MAX_LENGTH 1024  FILE* m_pFp;  CString strLine;  const CString sFilename = _T("E:\\MTransLog.txt");  if((m_pFp = _tfopen(sFilename, _T("rb"))) ==
用C读取Unicode文件
tanlijun37的专栏
08-26 5369
今天晚上闲来无事，便想用C写个读取unicode文件。我平时都是读取ascii文件，一直没什么问题，结果在读取unicode文件时遇到一个小问题，特记下来以做一个留念。 先看刚开始的代码： FILE* file = _wfopen(L"c:\\BOOTEX.LOG",
QFile 读取unicode 格式的文档 乱码怎么解决
最新发布
05-14
<think>好的，用户想解决使用QFile读取Unicode格式文档时出现乱码的问题。首先，我需要回顾一下Qt中处理文件编码的相关知识。根据引用中的信息，QTextCodec是用来处理不同编码转换的关键类。用户的引用里提到了GBK、GB2312等编码，但用户现在的问题是关于Unicode的，可能需要区分UTF-8、UTF-16等不同Unicode编码格式。 首先，用户提到的是Unicode格式文档。常见的Unicode编码有UTF-8、UTF-16LE、UTF-16BE等。在Qt中，默认情况下，QString内部使用UTF-16，而QFile读取数据时得到的是QByteArray，需要正确解码才能转换为QString。如果文件是UTF-8编码，而直接使用QString的fromUtf8方法，或者使用QTextCodec::codecForName("UTF-8")来转换，应该能正确解码。 但用户遇到了乱码，可能是没有正确指定编码方式。例如，如果文件是带有BOM的UTF-8，可能需要自动检测BOM。引用5提到，如果源文件编码不是UTF-8，而直接赋值给QString会导致乱码。因此，正确指定编码是关键。 另外，引用3提到QTextStream默认使用本地编码，但可以设置编解码器。使用QTextStream并设置正确的编码可能更简便。例如，使用setCodec方法设置为UTF-8，然后直接读取QString，这样可能避免手动处理QByteArray的转换。 用户可能试过直接读取文件，但未指定编码，导致QString错误解释字节流。解决方案可能包括： 1. 使用QTextCodec明确转换：读取QByteArray后，用UTF-8的codec转换为QString。 2. 使用QTextStream并设置编码为UTF-8，这样读取时自动转换。 3. 处理BOM（字节顺序标记），比如UTF-8、UTF-16等可能有BOM，需要跳过或检测。 需要检查用户的代码是否正确处理了这些情况。例如，如果用户用QFile读取后直接转QString而没有指定编码，就会有问题。正确的做法是使用QTextCodec或QTextStream指定正确的编码。 另外，引用5中的例子处理了GB2312和Shift-JIS，但用户需要的是Unicode，所以需要调整codec的名称，比如UTF-8或UTF-16。 还需要考虑文件的BOM。例如，UTF-8的BOM是EF BB BF，可能在文件开头，需要跳过。QTextStream会自动处理BOM，如果设置正确的编码的话。 总结可能的解决方案： - 使用QTextCodec::codecForName("UTF-8")转换QByteArray到QString。 - 使用QTextStream，设置编码为UTF-8，并自动处理BOM。 - 检查文件是否包含BOM，并适当处理。 此外，可能需要注意不同平台下的默认编码问题，确保无论在哪个平台，都明确指定编码方式。 现在需要将这些思路整理成步骤，确保用户能一步步解决问题。同时，根据引用中的示例，提供代码示例会更有帮助。例如，使用QTextStream读取UTF-8文件的代码，或者手动使用QTextCodec转换的代码。 可能还需要区分不同的Unicode编码，比如用户文件是UTF-8还是UTF-16。因此，在解决方案中需要明确说明如何处理不同的情况。</think>以下是在Qt中使用QFile正确读取Unicode文件的解决方案，结合QTextCodec和QTextStream的使用方法： ### 解决方案步骤 1. **确认文件编码类型** 通过文本编辑器检查文件编码（UTF-8/UTF-16LE/UTF-16BE等），注意是否包含BOM头。例如： - UTF-8 BOM：`EF BB BF` - UTF-16LE BOM：`FF FE` - UTF-16BE BOM：`FE FF` 2. **选择正确的解码方式** - **UTF-8无BOM文件** 使用QTextCodec直接转换： ```cpp QFile file("unicode.txt"); if (file.open(QIODevice::ReadOnly)) { QByteArray data = file.readAll(); QTextCodec *codec = QTextCodec::codecForName("UTF-8"); QString text = codec->toUnicode(data); // 显式指定编码转换[^5] } ``` - **UTF-8/UTF-16带BOM文件** 推荐使用QTextStream自动识别编码： ```cpp QFile file("unicode.txt"); if (file.open(QIODevice::ReadOnly)) { QTextStream stream(&file); stream.setCodec("UTF-8"); // 显式设置编码（若已知） stream.setAutoDetectUnicode(true); // 自动检测BOM[^3] QString text = stream.readAll(); } ``` 3. **处理UTF-16编码文件** 需明确指定字节顺序： ```cpp QTextCodec *codec = QTextCodec::codecForName("UTF-16LE"); // 小端序 // 或 QTextCodec *codec = QTextCodec::codecForName("UTF-16BE"); // 大端序 ``` ### 完整示例代码 ```cpp void readUnicodeFile(const QString &filename) { QFile file(filename); if (!file.open(QIODevice::ReadOnly)) return; // 方法1：使用QTextStream自动处理BOM QTextStream stream(&file); stream.setAutoDetectUnicode(true); // 关键设置[^3] QString content = stream.readAll(); qDebug() << "QTextStream读取结果：" << content.left(50); // 方法2：手动处理UTF-8无BOM文件 if (file.reset()) { QByteArray data = file.readAll(); QTextCodec *codec = QTextCodec::codecForName("UTF-8"); QString manualConvert = codec->toUnicode(data); // 显式转换[^5] qDebug() << "手动转换结果：" << manualConvert.left(50); } } ``` ### 关键原理说明 1. **编码一致性** QString内部使用UTF-16编码，文件读取时需要将字节流按原始编码正确转换为目标编码。 2. **BOM处理机制** QTextStream在检测到BOM时会自动切换解码器，无需手动设置编码类型[^3]。 3. **性能差异** QTextStream适合逐行读取，直接读取QByteArray适合小文件整体处理。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值