Unicode(UTF16)文件读写终极方案---用C++标准的字节流读取，转化为宽字符(wchar_t)，再以字节流写入

最新推荐文章于 2025-03-08 16:26:28 发布
最新推荐文章于 2025-03-08 16:26:28 发布
阅读量1.1w 收藏 9
点赞数 2
分类专栏： C/C++ 重用代码之LinuxC&C++ 文章标签： c++ string express ios c 跨平台
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Harry_lyc/article/details/6643844
版权
本文介绍了作者在处理Unicode(UTF16)文件时遇到的问题，以及如何通过自定义库函数实现C++的跨平台字节流读写。内容涵盖从字节流到宽字符的转换，以及如何识别和处理Unicode文件中的换行符。这个解决方案旨在简化C++中处理不同编码文本文件的复杂性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

          用C++做程序真够麻烦的，先不说各种数据类型搞的人头疼，再者读写各种编码的文本文件ansi、Unicode、UTF-8等等，让人头晕目眩的。

          这半年来经常要用C++处理各种不同编码的文本文件，开始读取Unicode文件，一直很麻烦。用了wifstream，wsprintf等方法。都是不尽人意。

          后来突然想何不自己节写个库函数自己用。后来就付诸行动，开始想着按行读取，怎想到行读取错误。后来才明白，Unicode(UTF16)文件都是2个字节，包括英文字符，只不过是到位填充为0罢了。明白这些，字节就按字节读取，自己判断换行符，并且实现了字节流到宽字节流的转换，实现了以前windows下复杂的库函数的基本功能，写入时按照字节流写入。用标准的C++读取、写入方法和数据类型，这样可以提供跨平台的重复使用。

          时间比较紧，并且没有做过大规模测试，各位如果发现问题，请指正。

/********************************************************************
* Copyright (C) 2011 Li Yachao
* Contact: liyc@gmail.com or harry_lyc@foxmail.com
*
* Permission to use, copy, modify, and distribute this software for
* any non-commercial purpose is hereby granted without fee, provided
* that the above copyright notice appea
最低0.47元/天 解锁文章
C/C++语言UTF16和UTF32互相转换生成文件
02-01
1.支持文件读入UTF-16、32文本格式数据，并相互转换 2.支持并将转换完的数据保存到文件
C++ 读取 UTF-16 LE 格式的文件
m0_38036750的博客
11-16 4334
今天遇到的问题值得记录。 使用C++读取UTF-16 LE ,也就是宽字符集。按正常的读取 std::ifstream file(fileName.c_str()); 打印出的是乱码。 从网上找了好久，C++并没有像python那样一个函数就搞定的方法。只能一步一步来。 思路： 使用C语言函数来打开文件，原因：找了半天C++也没有对文件操作指定编码格式的函数，只有C语言有。 FILE* fp; auto err = _wfopen_s(&fp,szFile.c_str(), L"r
C++入门
最新发布
ZhangWeiXiao666的博客
03-08 331
这是C++的原文件使用"C:\Program Files (x86)\Dev-Cpp\MinGW64\bin\g++.exe"C:\Users\张唯笑\Desktop\HelloWorld.cpp -oC:\Users\张唯笑\Desktop\HelloWorld.exe 将原文件编译成计算机能运行的二进制文件。
C++流读取Unicode(UTF-16)格式ini文件
azpnc7917的博客
07-16 723
最近有个Windows平台的项目需要读取并修改ini配置文件。可是本人厌倦了用Win API来写代码，如果用GetPrivateProfileString和WritePrivateProfileString之类API是否对得起自己的造轮子精神呢？呵呵...... 本来打算用C++ std::wifstream流来读取Unicode文件，可是本人电脑是Win7中文...
Window C++ 读写 UTF16-LE 文件
bosaidongmomo的博客
08-16 546
【代码】Window C++ 编写 UTF16-LE 文件。
C++实现unicode码转换成UTF-16的加码和解码函数
清流弯弯
08-14 5815
Unicode的实现方式不同于编码方式。一个字符的Unicode编码是确定的，但是在实际存储和传输过程中，由于不同系统平台的设计不一定一致，以及出于节省空间的目的，对Unicode编码的实现方式有所不同。Unicode的实现方式称为Unicode转换格式（UnicodeTransformation Format，简称为UTF）。          对Unicode编码的主要有UTF-16BE
C++实现对Unicode格式XML的读写操作
在VC环境下编写的程序，如果支持Unicode，那么它们可以更方便地处理包含UTF-8和UTF-16编码的XML文件，因为宽字符类型`wchar_t`和相应的库函数能够提供兼容的处理机制。 总结来说，要使C++程序能够读写Unicode编码的...
MFC实现对utf8文本文件的高效读取技巧
3. 字节流转换为Unicode：由于MFC中的大多数字符串处理类（如CString）使用的是Unicode字符集，因此需要将UTF-8编码的字节流转换为Unicode编码。可以使用MultiByteToWideChar函数进行转换。 4. 读取并处理：转换完成...
Python字符串编码解码：Unicode到UTF-8的转换规则全解析
[Python字符串编码解码：Unicode到UTF-8的转换规则全解析](http://portail.lyc-la-martiniere-diderot.ac-lyon.fr/srv1/res/ex_codage_utf8.png) # 1. 字符串编码基础与历史回顾 ## 1.1 早期字符编码的挑战 在...
C++ 读取UNICODE编码格式文本文件
Fourier的博客
05-16 4926
std::string ws2s(const std::wstring& ws) { std::string curLocale = setlocale(LC_ALL, NULL); // curLocale = "C"; setlocale(LC_ALL, "chs"); const wchar_t* _Source = ws.c_str(); ...
用C++读写unicode文本
白永辉的专栏
12-11 7669
转自：http://www.cnblogs.com/WeedQian/archive/2009/12/28/1634478.html 字符类型 char, wchar_t, TCHAR，最熟悉的char是单字节字符，适用于ANSI编码；wchar_t是双字节的宽字符类型，适用于unicode编码；TCHAR是一个宏，在ANSI坏境下定义为char，unicode坏境下定义为wchar_t。
c语言中utf-16,在c中读取UTF-16文件
weixin_32762821的博客
05-24 1094
我正在尝试读取具有BOM的UTF-16LE编码的文件.我试过这段代码#include #include #include #include int main() {std::wifstream fin("/home/asutp/test");fin.imbue(std::locale(fin.getloc(), new std::codecvt_utf16));if (!fin) {std::co...
【蛋疼c++】千万别用std::wifstream读取Unicode UTF16文件
sinat_27171121的博客
08-10 580
这说明，程序里面 TCHAR* 字符串就是UTF16编码，不需要 std::wifstream 多此一举地解码，直接读取到内存即可。一些特殊表情符号直接空白（比如：🍓）。或许是，这个办法不支持UTF16的surrogate pair，四个字节的符号。ActiveX这玩意，导出文件，如果是UTF8导出，会出现莫名异常：写一半直接退出。在C++程序中，UTF8文件直接用 stf::ifstream 读进来就可以。
【C语言】如何在文件中读写宽字符文本
WINGREZ‘S BLOG
04-18 2337
待完善... 示例： 在指定模式时，需添加ccs标志，如下所示。 #include<stdio.h> #include<stdlib.h> int main() { const wchar_t *wstr = L"这是一个宽字符串abc123"; FILE *fin; fopen_s(&fin, "out.txt", "w, css=utf-8"); ...
c语言中utf-16,c++ - 如何在C ++ 17中读取UTF-16文本文件 - 堆栈内存溢出
weixin_35569158的博客
05-24 610
我是C ++的新手。 我想在Visual Studio 2019中的C ++ 17中读取UTF-16文本文件。我已经在Internet上尝试了几种方法(包括StackOverflow)，但没有一种起作用，并且其中一些没有编译(我认为它们仅支持较旧的编译器)。我试图在不使用任何第三方库的情况下实现这一目标。这会读取一个文本文件，但是每个字母之间都有一些奇怪的字符和空格。// open file f...
编程：C++中UTF-8、UTF-16、UTF-32之间的编码转换
hzraymond的专栏
11-08 1859
原：http://blog.youkuaiyun.com/jhqin/article/details/5687505 原：http://hxraid.iteye.com/blog/559607 【附2】： UTF-16编码算法 Unicode编码表的专业术语： 代码点 (code point): 指在Unicode编码表中一个字符所对应的代码值。如汉字“一”的代码点是U+4
C/C++文件输入输出操作——FILE*、fstream、windowsAPI
long458的专栏
05-03 3718
<br />基于C的文件操作<br />在ANSI C中，对文件的操作分为两种方式，即流式文件操作和I/O文件操作，下面就分别介绍之。<br />一、流式文件操作<br />这种方式的文件操作有一个重要的结构FILE，FILE在头文件stdio.h中定义如下：<br />typedef struct {<br />int level; /* fill/empty level of buffer */<br />unsigned flags; /* File status flags */<br />char
使用ReadFile函数读取文件（C/C++）
DevCharm的博客
09-03 1927
在C/C++编程中，要读取文件的内容，可以使用Windows API中的ReadFile函数。在以上代码中，我们使用ReadFile函数读取文件的内容。在以上代码中，我们使用GetFileSize函数获取文件的大小，并将其存储在变量dwFileSize中。请确保在运行代码之前，将文件名修改为实际存在的文件名，并将代码放置在合适的C/C++项目中进行编译和运行。在以上代码中，我们使用CloseHandle函数关闭文件句柄，以释放对文件的访问。现在，我们可以使用ReadFile函数来实际读取文件的内容了。
C++ 文件读取方式
清流弯弯
10-12 1394
1 使用FILE读取 FILE *fp=_tfopen(szXmlFilePath,L"rb"); if (fp==NULL) return; fseek(fp,0,SEEK_END); UINT nLen=ftell(fp); fseek(fp,0,SEEK_SET); // 宽字符类型 wchar_t* pStr_Read = new
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值