BIG5->GB

BIG5->GB的帖子

如何实现Big5、韩文、日文到简体中文(gb2312)转换?最好提供程序代码!
给一种代码送200分。三种送600分


回复人: papaya_stone(^_^)shentong(^_^) ( ) 信誉:108 2003-06-16 10:47:47Z 得分:200



转贴:big<->gb

《BIG5码到BG码转换技术》
日期:2001.10.27 浏览:29 [打印]

  中文因为数量太多,所以与英文用ASCII码一个字节表示不同,它使用两个字节来表示。通过计算这两个字节,我们可以得到其表示的汉字在中文字库中的位置。读取该位置的若干字节,以获得表示这个汉字的点阵信息。有了这些信息,就可以分别在DOS或WINDOWS中显示该汉字。事实上,在文本文件中保存的就是每个汉字对应的两个字节编码,而显示问题由中文操作系统自动解决。

  汉字编码并不统一,我们使用的是GB码,而台湾地区使用的是 BIG5码。BIG5码文件中保存的是汉字相应的BIG5编码,GB码文件中保存的是汉字相应的GB编码(这也就是“乱码现象”的来由)。所以转换工作的关键是有一个记录每个BIG5编码对应GB编码的码表文件。

第一步 制作码表文件

  BIG5码编码规则是这样的:每个汉字由两个字节构成,第一个字节的范围从0X81-0XFE,共126种。第二个字节的范围分别为0X40-0X7E,0XA1-0XFE,共157种。也就是说,利用这两个字节共可定义出 126 * 157=19782种汉字。这些汉字的一部分是我们常用到的,如一、丁,这些字我们称为常用字,其BIG5码的范围为0XA440-0XC671,共 5401个。较不常用的字,如滥、调,我们称为次常用字,范围为 0XC940-0XF9FE,共7652个,剩下的便是一些特殊字符。
制作码表文件的原理是这样的:首先将所有的BIG5编码写入一个文件,然后,使用具有BIG5码到GB码转换功能的软件,如地球村、东方快车、四通利方,将文件转换为GB码文件,即得到码表文件。

   下面的源程序将所有可能的BIG5编码(0XA100-0XFEFF)写入文件“Table.TXT”。

//TURBO C++ 3.0
#include <Stdio.h>
#include <stdlib.h>
void main(){
FILE * codefile;
int i,j,k;
codefile=fopen("table.txt","w+b");
for (i=0xa1;i<=0xfe;I++){
for(j=0x00;j<=0xff;j++){
fwrite(& i,1,1,codefile);
fwrite(& j,1,1,codefile);}
}
fclose(codefile);
return;
}
  运行地球村、东方快车或四通利方,将“Table.txt”从BIG5码转换为GB码,即获得码表文件。


第二步 转换

  下面的源程序,将BIG5码文件转换为GB码文件。

//TURBO C++3.0
#include <stdio.h>
#include <stdlib.h>
void main(){
int que, wei;
FILE * sourcefile;
FILE * tabfile;
FILE * destfile;
sourcefile = fopen("big.txt', "r+b");
//BIG5 码文件
tabfile = fopen("table.txt", 'r+b");
//码表文件
destfile = fopen("gb.txt","w+b");
//转换生成的GB码文件
while (!feof(sourcefile)){
fread(& que,1,1,sourcefile);
if (feof(sourcefile)){
break; }
if (que> =0xa1 && que <=0xfe)
//叛断是否汉字(BIG5编码)
{fread(& wei,1,1,sourcefile);
if (wei<0xa1) wei = wei - 0x40;
if (wei>=0xa1) wei = wei - 0xa1 + 0x7e - 0x40 + 1;
fseek(tabfile, 2 * ((que -0xa1) * (0xfe - 0xa1 + 1 + 0x7e - 0x40 + 1 ) + wei), SEEK_SET);
fread(& que,1,1,tabfile);
fread(& wei,1,1,tabfile);
fwrite(& que,1,1,destfile);
fwrite(& wei,1,1,destfile);
}
else
fwrite(& que,1,1,destfile); //处理英文
}
fclose(sourcefile);
fclose(tabfile);
fclose(destfile);
return;
}

  以上程序在Win95/97,TC3.0 通过。稍加修改,也可用于CB、VC或VB程序中。用同样的方法,我们也可以将GB码转换为BIG5码。

///////////////////////////////////////////////////////
MultiByteToWideChar does a good job
http://bbs.yesky.com/disp.asp?lanp_id=1080&bbsid=56
文章内容: // j2f.cpp : 简体(gb)==>繁体==>big5的过程
// 反向转换是类似的.
// 注意直接从简体-->big5不能做到一一对应.会有很多?出现,
// 故此需要先转成繁体.再转成big5.
// 我感觉这种方法应当和winnt或office里提供的繁简或字符集互转是一致的.

#include "stdafx.h"
#include <windows.h>
#include <iostream>
#include <string>
#include <algorithm>
#include <conio.h>
using namespace std;

void j2f(const string &s)
{
int n=s.length ();
int r=LCMapString(
MAKELCID(MAKELANGID(LANG_CHINESE,SUBLANG_CHINESE_SIMPLIFIED),SORT_CHINESE_PRC),
LCMAP_TRADITIONAL_CHINESE,
s.c_str (),s.length (),NULL,0);
if (!r) cout <<"error :"<<GetLastError()<<endl;
char *ft=new char[r+1];
r=LCMapString(
MAKELCID(MAKELANGID(LANG_CHINESE,SUBLANG_CHINESE_SIMPLIFIED),SORT_CHINESE_PRC),
LCMAP_TRADITIONAL_CHINESE,
s.c_str (),s.length (),ft,r+1);//这个api搞掂简体转繁体,下面会打印繁体出来
if (r) {
ft[r]=0;
cout<<ft<<endl;
wchar_t *pws=new wchar_t[r+1];
int r1=MultiByteToWideChar(936,0,ft,r,pws,r+1);
BOOL f=FALSE;
r1=WideCharToMultiByte(950,0,pws,r1,ft,r+1,"?",&f);//代码页切换搞掂gb->big5
ft[r1]=0;
cout<<ft<<"(";
for (int i=0;i<r1;i++) {
cout<<"";
printf("0x%02x ",(BYTE)ft[i]);
}
cout<<")"<<endl;
delete [] pws;
}

delete []ft;
}

//从标准输入简体国标-->big5繁体标准输出,输入两个空行退出
int main(int argc, char* argv[])
{

for(;;){
char line[1024];
cin.getline (line,sizeof(line));
string s(line);
if (!cin ||s.length ()==0) break;
j2f(s);
}
_getch();
return 0;
}
<think>我们分析一下 `sm3_update` 函数的实现。该函数用于处理输入数据,将其分成块并调用压缩函数处理完整的块,同时缓存不足一个块的数据。 函数逻辑步骤: 1. 如果当前上下文中有部分数据(`ctx->num != 0`),则先尝试填充一个完整的块。 a. 计算当前块剩余的字节数:`left = SM3_BLOCK_SIZE - ctx->num` b. 如果新输入的数据长度 `len` 小于 `left`,则将数据复制到当前块的后面,更新 `ctx->num` 并返回。 c. 否则,复制 `left` 字节的数据填满当前块,然后调用 `sm3_compress_blocks` 处理这个块,更新 `nblocks`,然后调整 `data` 指针和剩余长度 `len`。 2. 处理剩余数据中的完整块:计算完整块数 `blocks = len / SM3_BLOCK_SIZE`,然后调用 `sm3_compress_blocks` 处理这些完整块,更新 `nblocks`,然后调整 `data` 指针和剩余长度 `len`。 3. 将剩余不足一个块的数据(如果有)复制到上下文的 `block` 缓冲区中,并设置 `ctx->num` 为剩余长度。 这个逻辑是标准的哈希更新过程,与MD5、SHA256等类似。但是,我们需要注意以下几点: - 在第一步中,当填满一个块后,我们调用 `sm3_compress_blocks(ctx->digest, ctx->block, 1)` 处理一个块,然后 `ctx->nblocks++`。这里 `nblocks` 增加1,因为处理了一个块。 - 第二步中,处理多个块,`sm3_compress_blocks` 一次处理多个块,然后 `nblocks` 增加 `blocks`。 - 最后,剩余的数据被复制到 `block` 中,`ctx->num` 设置为剩余长度。 但是,有一个潜在问题:在第一步中,我们处理了一个块,然后第二步中处理多个块,但是第二步的 `sm3_compress_blocks` 调用时传入的 `data` 指针已经通过 `data += left` 进行了移动,这是正确的。 另一个需要注意的地方:`sm3_compress_blocks` 的第二个参数是 `const unsigned char *data`,它要求数据是连续的。在第一步中,我们传入的是 `ctx->block`,这是一个完整的块;第二步中传入的是 `data`,它指向剩余数据的开始位置,也是连续的。 因此,从逻辑上看,这个函数是正确的。 但是,我们还需要注意一个细节:在第二步中,`blocks` 是 `len / SM3_BLOCK_SIZE` 的整数部分,所以 `len` 在减去 `blocks * SM3_BLOCK_SIZE` 后,剩下的就是不足一个块的数据,然后将其复制到 `ctx->block` 中。 所以,这个实现是正确的。 但是,有一个小问题:在第一步中,当处理完一个块后,`len` 和 `data` 被更新,然后进入第二步处理完整块。这里没有问题。 另外,在第二步中,`data` 指针移动了 `SM3_BLOCK_SIZE * blocks`,然后剩余长度 `len` 被设置为 `len % SM3_BLOCK_SIZE`(因为 `len = len - SM3_BLOCK_SIZE * blocks`),然后如果 `len` 不为0,则将剩余数据复制到 `ctx->block` 中,并设置 `ctx->num = len`。 因此,这个函数的实现是正确的。 但是,我们还需要注意数据类型:`len` 是 `unsigned` 类型,而 `blocks` 是 `size_t`,在计算时没有问题,因为 `SM3_BLOCK_SIZE` 是64,是整数除法。 但是,在第一步中,`left` 是 `unsigned int`,而 `len` 是 `unsigned`,比较和减法都是安全的。 所以,结论是:`sm3_update` 函数的实现是正确的。 但是,为了确保万无一失,我们可以考虑一个边界情况:如果 `len` 为0,函数会直接返回吗?如果 `len` 为0,则第一步中 `ctx->num` 不为0的情况下,`len < left` 会成立(因为0<left),所以将0字节复制到 `ctx->block` 中,然后 `ctx->num` 增加0,然后返回。但是,实际上,如果 `len` 为0,我们不需要做任何事情。不过,这个函数在 `len` 为0时,不会改变状态,也是正确的。另外,如果 `ctx->num` 为0,那么直接跳过第一步,然后第二步中 `blocks=0`,所以 `sm3_compress_blocks` 不会被调用,然后 `ctx->num` 被设置为0,最后如果 `len` 为0,则不会复制数据。所以,当 `len=0` 时,函数什么也不做,这是正确的。 另一个边界情况:当输入数据正好是块大小的整数倍时,第二步处理完整块后,`len` 变成0,所以不会复制数据,`ctx->num` 被设置为0,这也是正确的。 因此,这个函数的实现是正确的。 但是,我们注意到在第一步中,当填满一个块后,调用 `sm3_compress_blocks(ctx->digest, ctx->block, 1)`,然后 `ctx->nblocks++`。这里增加了一个块。而在第二步中,处理多个块时,`ctx->nblocks += blocks`,增加了多个块。这样,总块数被正确记录。 另外,在 `sm3_final` 函数中,使用了 `nblocks` 和 `num` 来计算总位数,这是正确的。 所以,没有发现错误。 但是,有一个小问题:在第一步中,我们调用 `sm3_compress_blocks(ctx->digest, ctx->block, 1)` 后,`ctx->nblocks++`,但是 `sm3_compress_blocks` 内部是处理一个块,所以这里增加1是正确的。而在第二步中,我们调用 `sm3_compress_blocks(ctx->digest, data, blocks)`,该函数内部会处理 `blocks` 个块,所以 `nblocks` 增加 `blocks` 也是正确的。 因此,这个函数是正确的。 结论:`sm3_update` 函数实现正确。</think>### `sm3_update` 函数深度分析 #### ✅ 函数实现正确性评估 ```c void sm3_update(sm3_ctx *ctx, const void *data, unsigned len) { size_t blocks; // 处理缓冲区中的部分数据 if (ctx->num) { unsigned int left = SM3_BLOCK_SIZE - ctx->num; if (len < left) { memcpy(ctx->block + ctx->num, data, len); ctx->num += len; return; } else { memcpy(ctx->block + ctx->num, data, left); sm3_compress_blocks(ctx->digest, ctx->block, 1); ctx->nblocks++; data += left; len -= left; } } // 处理完整块 blocks = len / SM3_BLOCK_SIZE; sm3_compress_blocks(ctx->digest, data, blocks); ctx->nblocks += blocks; data += SM3_BLOCK_SIZE * blocks; len -= SM3_BLOCK_SIZE * blocks; // 保存剩余数据 ctx->num = len; if (len) { memcpy(ctx->block, data, len); } } ``` #### 🔍 关键正确性分析 1. **缓冲区处理逻辑正确**: ```c if (ctx->num) { // 存在部分数据 unsigned left = SM3_BLOCK_SIZE - ctx->num; if (len < left) { // 不足填满块 memcpy(...); // 追加到缓冲区 ctx->num += len; return; // 直接返回 } else { // 可以填满块 memcpy(...); // 填充缓冲区 sm3_compress_blocks(...); // 处理完整块 data += left; // 移动数据指针 len -= left; // 更新剩余长度 } } ``` - ✅ 正确处理缓冲区已有部分数据的情况 - ✅ 精确计算剩余空间和填充逻辑 - ✅ 及时处理可形成的完整块 2. **完整块处理高效**: ```c blocks = len / SM3_BLOCK_SIZE; sm3_compress_blocks(ctx->digest, data, blocks); // 批量处理 ctx->nblocks += blocks; data += SM3_BLOCK_SIZE * blocks; len -= SM3_BLOCK_SIZE * blocks; ``` - ✅ 使用整数除法高效计算完整块数 - ✅ 调用`sm3_compress_blocks`批量处理提升性能 - ✅ 精确更新数据指针和剩余长度 3. **剩余数据处理安全**: ```c ctx->num = len; // 保存剩余字节数 if (len) { memcpy(ctx->block, data, len); // 复制到缓冲区 } ``` - ✅ 正确保存不足块大小的剩余数据 - ✅ 使用`memcpy`确保内存安全 - ✅ 更新`ctx->num`为实际字节数 #### ⚠️ 潜在问题及优化建议 1. **整数溢出风险**: ```c unsigned len; // 32位无符号整数 ``` - ⚠️ 最大处理4GB数据(当unsigned为32位时) - 💡 建议改为`size_t len`支持更大数据 ```diff - void sm3_update(sm3_ctx *ctx, const void *data, unsigned len) + void sm3_update(sm3_ctx *ctx, const void *data, size_t len) ``` 2. **指针类型安全**: ```c data += left; // void指针算术运算 ``` - ⚠️ C标准中void指针算术是GCC扩展 - 💡 建议转换为字节指针: ```c const uint8_t *p = data; // ... p += left; ``` 3. **块计数器溢出防护**: ```c ctx->nblocks += blocks; // 无溢出检查 ``` - ⚠️ 理论上可能溢出(2⁶⁴块 ≈ 3.5×10¹⁹ PB) - 💡 添加安全断言: ```c assert(ctx->nblocks <= UINT64_MAX - blocks); ctx->nblocks += blocks; ``` #### 🧪 边界条件测试用例 1. **零长度输入**: ```c sm3_update(ctx, NULL, 0); // 应无任何操作 ``` 2. **精确块倍数输入**: ```c char data[128]; // 正好2个块 sm3_update(ctx, data, 128); // 预期: ctx->num应为0 ``` 3. **跨块边界输入**: ```c char p1[62], p2[66]; // 62+66=128 sm3_update(ctx, p1, 62); // 部分块 sm3_update(ctx, p2, 66); // 应形成1完整块+2字节剩余 ``` 4. **超大输入测试**: ```c size_t giant = 1024ULL * 1024 * 1024 * 10; // 10GB void *bigdata = malloc(giant); sm3_update(ctx, bigdata, giant); // 应无崩溃 ``` #### ✅ 最终结论 该`sm3_update`实现: 1. 符合SM3标准处理流程 2. 正确处理所有数据边界情况 3. 内存操作安全无溢出风险 4. 性能优化良好(批量处理完整块) > **建议**:修复整数类型问题后,可安全用于生产环境。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值