MFC GB2312、UTF-8、unicode 之间转换

原创 已于 2025-05-27 17:40:14 修改 · 2.6k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#MFC #UTF8 #GB312 #unicode #转换

于 2017-09-26 10:49:57 首次发布
本文详细介绍了几种常见字符编码之间的转换方法，包括GB2312到UTF-8、UTF-8到GB2312、GB2312到Unicode、Unicode到GB2312、UTF-8到Unicode及Unicode到UTF-8等。此外，还提供了一个用于判断字符串是否为UTF-8编码的函数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

//GB2312到UTF-8的转换
static int GB2312ToUtf8(const char* gb2312, char* utf8)
{
	int len = MultiByteToWideChar(CP_ACP, 0, gb2312, -1, NULL, 0);
	wchar_t* wstr = new wchar_t[len+1];
	memset(wstr, 0, len+1);
	MultiByteToWideChar(CP_ACP, 0, gb2312, -1, wstr, len);
	len = WideCharToMultiByte(CP_UTF8, 0, wstr, -1, NULL, 0, NULL, NULL);
	WideCharToMultiByte(CP_UTF8, 0, wstr, -1, utf8, len, NULL, NULL);
	if(wstr) delete[] wstr;
		return len;
}

//判断是否是utf8
bool IsTextUTF8(const char* str, long length)
{
	unsigned char chr;

	int nBytes = 0; // UFT8可用1-6个字节编码,ASCII用一个字节
	bool bAllAscii = true; // 如果全部都是ASCII, 说明不是UTF-8

	for (int i=0; i < length; i++)
	{
		chr = *(str + i);

		if ((chr&0x80) != 0) // 判断是否ASCII编码,如果不是,说明有可能是UTF-8, ASCII用7位编码,但用一个字节存,最高位标记为0,o0xxxxxxx
		{
			bAllAscii = false;
		}

		if (nBytes == 0) // 如果不是ASCII码,应该是多字节符,计算字节数
		{
			if (chr >= 0x80)
			{
				if (chr>=0xFC && chr<=0xFD)
					nBytes = 6;
				else if (chr>=0xF8)
					nBytes = 5;
				else if (chr>=0xF0)
					nBytes = 4;
				else if (chr>=0xE0)
					nBytes = 3;
				else if (chr>=0xC0)
					nBytes = 2;
				else
					return false;

				nBytes--;
			}
		}
		else // every char of ascii buffer looks like 10xxxxxx, except the first char
		{
			if( (chr&0xC0) != 0x80 )
			{
				return false;
			}
			nBytes--;
		}
	}

	if (nBytes > 0) // format error
	{
		return false;
	}

	if (bAllAscii) // if all chars are ascii, the buffer is not utf-8
	{
		return false;
	}

	return true;
}


//UTF-8到GB2312的转换
static int Utf8ToGB2312(const char* utf8, char* gb2312)
{
	int len = MultiByteToWideChar(CP_UTF8, 0, utf8, -1, NULL, 0);
	wchar_t* wstr = new wchar_t[len+1];
	memset(wstr, 0, len+1);
	MultiByteToWideChar(CP_UTF8, 0, utf8, -1, wstr, len);
	len = WideCharToMultiByte(CP_ACP, 0, wstr, -1, NULL, 0, NULL, NULL);
	WideCharToMultiByte(CP_ACP, 0, wstr, -1, gb2312, len, NULL, NULL);
	if(wstr) delete[] wstr;
	return len;
}


//GB2312到Unicode的转换
static int GB2312ToUnicode(const char* gb2312, char* unicode)
{
	UINT nCodePage = 936; //GB2312
	int len = MultiByteToWideChar(nCodePage, 0, gb2312, -1, NULL, 0);
	wchar_t* wstr = new wchar_t[len+1];
	memset(wstr, 0, len+1);
	MultiByteToWideChar(nCodePage, 0, gb2312, -1, wstr, len);
	len = len*sizeof(wchar_t);
	memcpy(unicode, wstr, len);
	if(wstr) delete[] wstr;
		return len;
}


//Unicode到GB2312的转换
static int UnicodeToGB2312(const char* unicode, int size, char*gb2312)
{
	UINT nCodePage = 936; //GB2312
	wchar_t* wstr = new wchar_t[size/2+1];
	memcpy(wstr, unicode, size);
	int len = WideCharToMultiByte(nCodePage, 0, wstr, -1, NULL, 0, NULL, NULL);
	WideCharToMultiByte(nCodePage, 0, wstr, -1, gb2312, len, NULL, NULL);
	if(wstr) delete[] wstr;
		return len;
}


//UTF-8到Unicode的转换
static int Utf8ToUnicode(const char* utf8, char*unicode)
{
	int len = MultiByteToWideChar(CP_UTF8, 0, utf8, -1, NULL, 0);
	wchar_t* wstr = new wchar_t[len+1];
	memset(wstr, 0, len+1);
	MultiByteToWideChar(CP_UTF8, 0, utf8, -1, wstr, len);
	memcpy(unicode, wstr, len);
	if(wstr) delete[] wstr;
		return len;
}


//Unicode到UTF-8的转换
static int UnicodeToUtf8(const char* unicode, int size, char* utf8)
{
	wchar_t* wstr = new wchar_t[size/2+1];
	memcpy(wstr, unicode, size);
	int len = WideCharToMultiByte(CP_UTF8, 0, wstr, -1, NULL, 0, NULL, NULL);
	WideCharToMultiByte(CP_UTF8, 0, wstr, -1, utf8, len, NULL, NULL);
	if(wstr) delete[] wstr;
	return len;
}



std::wstring UTF8ToUnicode(const std::string & str)
{
	int  len = 0;
	len = str.length();
	int  unicodeLen = ::MultiByteToWideChar(CP_UTF8,
		0,
		str.c_str(),
		-1,
		NULL,
		0);
	wchar_t* pUnicode;
	pUnicode = new  wchar_t[unicodeLen + 1];
	memset(pUnicode, 0, (unicodeLen + 1) * sizeof(wchar_t));
	::MultiByteToWideChar(CP_UTF8,
		0,
		str.c_str(),
		-1,
		(LPWSTR)pUnicode,
		unicodeLen);
	std::wstring  rt;
	rt = (wchar_t*)pUnicode;
	delete  pUnicode;

	return  rt;
}

std::wstring GBKToUnicode(const std::string& str)
{
	int  len = 0;
	len = str.length();
	int  unicodeLen = ::MultiByteToWideChar(CP_ACP,
		0,
		str.c_str(),
		-1,
		NULL,
		0);
	wchar_t* pUnicode;
	pUnicode = new  wchar_t[unicodeLen + 1];
	memset(pUnicode, 0, (unicodeLen + 1) * sizeof(wchar_t));
	::MultiByteToWideChar(CP_ACP,
		0,
		str.c_str(),
		-1,
		(LPWSTR)pUnicode,
		unicodeLen);
	std::wstring  rt;
	rt = (wchar_t*)pUnicode;
	delete  pUnicode;

	return  rt;
}

std::string UnicodeToUTF8(const std::wstring& str)
{
	char* pElementText;
	int    iTextLen;
	// wide char to multi char
	iTextLen = WideCharToMultiByte(CP_UTF8,
		0,
		str.c_str(),
		-1,
		NULL,
		0,
		NULL,
		NULL);
	pElementText = new char[iTextLen + 1];
	memset((void*)pElementText, 0, sizeof(char) * (iTextLen + 1));
	::WideCharToMultiByte(CP_UTF8,
		0,
		str.c_str(),
		-1,
		pElementText,
		iTextLen,
		NULL,
		NULL);
	std::string strText;
	strText = pElementText;
	delete[] pElementText;
	return strText;
}

std::string UnicodeToGbk(const std::wstring& str)
{
	char* pElementText;
	int    iTextLen;
	// wide char to multi char
	iTextLen = WideCharToMultiByte(CP_ACP,
		0,
		str.c_str(),
		-1,
		NULL,
		0,
		NULL,
		NULL);
	pElementText = new char[iTextLen + 1];
	memset((void*)pElementText, 0, sizeof(char) * (iTextLen + 1));
	::WideCharToMultiByte(CP_ACP,
		0,
		str.c_str(),
		-1,
		pElementText,
		iTextLen,
		NULL,
		NULL);
	std::string strText;
	strText = pElementText;
	delete[] pElementText;
	return strText;
}

std::string GBKToUTF8(const std::string &strGbk)
{
	int len = MultiByteToWideChar(CP_ACP, 0, strGbk.c_str(), -1, NULL, 0);
	wchar_t* wszUtf8 = new wchar_t[len + 1];
	memset(wszUtf8, 0, len * 2 + 2);
	MultiByteToWideChar(CP_ACP, 0, strGbk.c_str(), -1, wszUtf8, len);
	len = WideCharToMultiByte(CP_UTF8, 0, wszUtf8, -1, NULL, 0, NULL, NULL);
	char* szUtf8 = new char[len + 1];
	memset(szUtf8, 0, len + 1);
	WideCharToMultiByte(CP_UTF8, 0, wszUtf8, -1, szUtf8, len, NULL, NULL);
	string strTemp(szUtf8);
	if (wszUtf8) delete[] wszUtf8;
	if (szUtf8) delete[] szUtf8;
	return strTemp;
}

std::string UTF8ToGBK(const std::string &strUtf)
{
	int len = MultiByteToWideChar(CP_UTF8, 0, strUtf.c_str(), -1, NULL, 0);
	wchar_t* wszGbk = new wchar_t[len + 1];
	memset(wszGbk, 0, len * 2 + 2);
	MultiByteToWideChar(CP_UTF8, 0, strUtf.c_str(), -1, wszGbk, len);
	len = WideCharToMultiByte(CP_ACP, 0, wszGbk, -1, NULL, 0, NULL, NULL);
	char* szgGbk = new char[len + 1];
	memset(szgGbk, 0, len + 1);
	WideCharToMultiByte(CP_ACP, 0, wszGbk, -1, szgGbk, len, NULL, NULL);
	string strTemp(szgGbk);
	if (wszGbk) delete[] wszGbk;
	if (szgGbk) delete[] szgGbk;
	return strTemp;
}


std::string QT_UTF8ToGBK(const std::string& strUtf)
{
	QTextCodec* utf8 = QTextCodec::codecForName("UTF-8");
	QTextCodec* gbk = QTextCodec::codecForName("GBK");
	QString strUnicode = utf8->toUnicode(strUtf.c_str());
	QByteArray gbkStr = gbk->fromUnicode(strUnicode);
	return gbkStr.toStdString();
}

std::string QT_Local8BitTo(const QString& qsSrt)
{
	std::string strTmp;
	QByteArray qBytTmp = qsSrt.toLocal8Bit();
	int iSzie = qBytTmp.size();
	if (iSzie <= 0)
	{
		return strTmp;
	}
	strTmp.resize(iSzie);
	memcpy(&strTmp[0], qBytTmp.data(), iSzie);

	return strTmp;
}

转自http://blog.youkuaiyun.com/seven407/article/details/7712823

VC++中ANSI、UNICODE与UTF-8字符编码之间的转换（附源码）
dvlinker的技术专栏
03-19 1万+
ANSI、UNICODE与UTF-8字符编码之间的转换
GB2312转换为Unicode编码表
02-25
用于文字编码转换的GB2312转Unicode数据表，用于文字编码转换的GB2312转Unicode数据表
J2ME经验总结之GB2312转换类Unicode方式
10-26 1971
作者：hunhun1981出自：http://blog.youkuaiyun.com/hunhun1981/之前的文章介绍了在j2me环境下GB2312转换为UTF-8的方法。http://blog.youkuaiyun.com/hunhun1981/archive/2007/10/15/1825472.aspx在后来继续对编码及char类型进行学习，发现一些有趣的问题。首先java环境下的char类型变
GB2312和UTF-8编码互转工具详细使用指南
最新发布
weixin_42327217的博客
06-03 1412
字符编码是将字符集中的字符映射到计算机可以理解和存储的数字代码的一套规则。这使得文本能够以二进制形式被计算机处理和存储。没有字符编码，计算机无法区分不同的字符，也就无法正确显示文本内容。市面上有多种编码转换工具，它们各有特点。以下是一些流行的编码转换工具：Notepad++: Windows平台上的开源文本编辑器，支持多种插件进行编码转换。iconv: 一种命令行工具，广泛用于Linux和Unix系统，支持多种字符编码之间的转换。
vc中GB2312，BIG5，Unicode相互转换
learneryql的专栏
11-29 597
//GB2312 转换成 Unicode： wchar_t* GB2312ToUnicode(const char* szGBString) {         UINT nCodePage = 936; //GB2312         int nLength=MultiByteToWideChar(nCodePage,0,szGBString,-1,NULL,0);
MFC中 GB2312、UTF-8、unicode 之间转换
seven407的专栏
07-03 4125
//GB2312到UTF-8的转换 static int GB2312ToUtf8(const char* gb2312, char* utf8) { int len = MultiByteToWideChar(CP_ACP, 0, gb2312, -1, NULL, 0); wchar_t* wstr = new wchar_t[len+1]; memset(wstr, 0, len+
MFC UTF-8文件批量转成GB2312 解决中文乱码问题
09-28
这个过程中的关键在于正确地处理各种编码之间的转换，尤其是从UTF-8到GB2312的转换，因为这两种编码的字节顺序和字节数是不同的。在实际操作中，还需要考虑文件名的编码，因为Windows系统允许文件名使用多种编码，这...
Unicode和UTF-8之间的转换详解
Shinobi_Jack的博客
07-12 628
下面来看一下，在Unicode中的编码是怎样转换成UTF-8的，在UTF-8中，如果一个字符的字节小于0x80（128）则为ASCII字符，占一个字节，可以不用转换，因为UTF-8兼容ASCII编码。注意在多字节串中, 第一个字节的开头"1"的数目就是整个串中字节的数目。从上面就可以很直观的看出Unicode到UTF-8之间的转换，当然知道了UTF-8的格式后，就可以进行逆运算，就是按照格式把它在二进制中的相应位置上取出，然后在转换就是所得到的Unicode字符了（这个运算可以通过“位移”来完成）。
c++ UTF-8 UTF-16转换
05-01
Windows系统提供了API函数来进行Unicode转换，如`MultiByteToWideChar`和`WideCharToMultiByte`，这些函数分别用于将多字节字符串（如UTF-8）转换为宽字节字符串（如UTF-16LE），反之亦然。但在跨平台的项目中，我们...
MFC实现UTF-8批量转GB2312以解决乱码问题
资源摘要信息:"本文档详细介绍了如何使用Microsoft Foundation Classes (MFC) 和Visual Studio 2013开发环境解决文件编码转换的问题，特别是将UTF-8编码的文件批量转换成GB2312编码以解决中文乱码问题。" 在信息...
GB2312转unicode
01-19
支持中文 GB2312转unicode 最近在做汉字处理 从网上整理的资料 分享给大家 亲测 可用
gb2312转Unicode编码
07-23
主要是把gb2312转成Unicode编码，程序用vs2005可以直接打开调试
gb2312-unicode互转
10-20
gb2312与unicode互相转化。同时还有UTF8的转码 使用了两个表，一个以gb2312顺序，一个以unicode顺序 gb2312转Unicode通过计算获得 unicode转gb2312，需要折半搜索。效率还成。
gb2312与unicode互转
05-16
gb2312编码与unicode编码互转对应关系，压缩包包含两个文件互转对应关系
汉字编码转换工具(汉字与utf-8转换 gb2312转换 unicode 转转
12-30
汉字编码转换工具，实现了汉字与　utf-8 gb2312 unicode 互转，开发者多百多度　qq:547170882
C++——MFC字符Unicode转UTF-8
liulv_yan的博客
04-21 706
unicode的环境下，写中文到文件，会出现乱码。 char* UnicodeToUtf8(const char* mbcsStr) { int charLen = MultiByteToWideChar(CP_UTF8, 0, mbcsStr, -1, NULL, 0); wchar_t* wideStr = (wchar_t*) malloc(sizeof(wchar_...
GB2312 Unicode转换表
瑞风轻拂
07-24 9413
源程序编辑软件将中文转化为GB2312编码，再下列的GB2312 Unicode转换表转为unicode。 实现2维数值，GB2312编码为递增，适合用二分法查找由GB2312码找Unicode码。 只含基本的汉字，符号未包括。 说明unit16 为16位的无符号整数unsigend short int #typedef  unsigned short int   u
VC中实现GB2312、BIG5、Unicode编码转换
小郑的博客
10-27 3392
一、文件编码格式转换 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 //GB2312 编码文件转换成 Unicode： if((file_handle = fopen(filenam,"rb")) != NULL) {     //从
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值