过滤 外文unicode文本中字符的代码

最新推荐文章于 2021-05-31 02:52:13 发布
原创 最新推荐文章于 2021-05-31 02:52:13 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#file #character #newline #null #fp #output

Author: godspirit

 

This source code is used for filtering unexpected character of a the unicode TXT document. And it will generate formated TXT. e.g. The chinese character would be kicked off from the orignal file.

 

If you want to check for the unicode of certain character, I advice you run "charmap" command, which is useful in Windows command and linux X windows.

 

 

 

 

#include <stdio.h>

#define SPACE (0x20)

#define PORTUGUESE (1)
//#define ITALIAN  (1)
//#define SPANISH  (1)
//#define FRANCH  (1)

static unsigned short LastShort[3] = {0};
unsigned short IsComma(unsigned short data);
static unsigned short ThrowFlag = 0;

void UpdateLastShort(unsigned short current)
{
 int i = 3;
 for(; i>0; i--)
 {
  LastShort[i] = LastShort[i-1];
 }
 LastShort[0] = current;
}

unsigned short IsUnicodeOK(unsigned short current)
{
 if((IsComma(current) && IsComma(LastShort[0])
 ||(current == 0x0d) && ((LastShort[1] == 0x0d)||(LastShort[1] == 0x0a))
 ||(current == 0x0a) && ((LastShort[1] == 0x0a)||(LastShort[1] == 0x0d))
 ||((current == 0x3a) && (LastShort[0] == 0x3a))
 ||((current == 0x22) && (LastShort[0] == 0x22))
 ||((current == 0x27) && (LastShort[0] == 0x27))
 ||((current == 0x2d) && (LastShort[0] == 0x2d))
 ||((current == SPACE) && ((LastShort[0] == SPACE)||(LastShort[0] == 0x0d) || (LastShort[0] == 0x0a))) ))
  return 0;
 UpdateLastShort(current);
  return 1; 

}


unsigned short IsComma(unsigned short data)
{
 unsigned short CurRusCharUni = data;
 if((CurRusCharUni == 0x003f) || (CurRusCharUni == 0x0021)// ? !
  || (CurRusCharUni == 0x003b)// ;
  ||((CurRusCharUni == 0x0d)&&(LastShort[0] == 0x0a))
  ||((CurRusCharUni == 0x0a)&&(LastShort[0] == 0x0d))
  || (CurRusCharUni == 0x002c) || (CurRusCharUni == 0x002e))// , .
  return 1;
 else
  return 0;
}

unsigned short IsStop(unsigned short data)
{
        unsigned short CurRusCharUni = data;
        if((CurRusCharUni == 0x003f) || (CurRusCharUni == 0x0021)// ? !
         ||((CurRusCharUni == 0x0d)&&(LastShort[0] == 0x0a))
         ||((CurRusCharUni == 0x0a)&&(LastShort[0] == 0x0d))
           || (CurRusCharUni == 0x002e))// .
                return 1;
        else
                return 0;
 
}

unsigned short IsDivision(unsigned short data)
{
 unsigned short CurRusCharUni = data;
    if((CurRusCharUni == 0x003f) || (CurRusCharUni == 0x0021)// ? !
  || (CurRusCharUni == 0x000d) || (CurRusCharUni == 0x000a)// /r/n
  || (CurRusCharUni >= 0x0030  && CurRusCharUni <= 0x0039)//Numbers
  || (CurRusCharUni == 0x0022) || (CurRusCharUni == 0x0027)// " '
  || (CurRusCharUni == 0x003f) || (CurRusCharUni == 0x0021)// ? !
  || (CurRusCharUni == 0x003a) || (CurRusCharUni == 0x003b)// : ;
  || (CurRusCharUni >= 0x002c  && CurRusCharUni <= 0x002e)// , - .
  || (CurRusCharUni >= 0x0028  && CurRusCharUni <= 0x0029)
  || (CurRusCharUni == 0x0020))//space
  return 1;
 else
  return 0;
}

/*
if we found a unexpected character, we should kick off the whole word.
*/

unsigned short Put2File(unsigned short current, FILE *fp, unsigned short throwFlag)
{
 FILE *fpNew = fp;
 static unsigned short tempbuf[128] = {0};
 static unsigned short count = 0;
 
 if(throwFlag == 0)
 {
  if(IsUnicodeOK(current) == 0)
   return 1;
  tempbuf[count] = current;
  count ++;
 }
 
 if(IsDivision(current) && (count != 0))
 {
  fwrite(tempbuf,sizeof(unsigned short),count,fpNew);
  count = 0;  
 }
 return 0;
}


unsigned short UnicodeFilter(char * FileName)
{

 FILE *fp = NULL;
 FILE *fpNew = NULL;
 FILE *fpThrow = NULL;
 unsigned long ThrowCnt = 0;
 unsigned short UnicodeHeader = 0;
 unsigned short CurRusCharUni = 0;//每个当前读出的俄文字母的unicode码
 char newFileName[128] = {0};
 char ThrowFileName[128] = {0};
 fp = fopen(FileName,"rb"); 
 if (fp == NULL)
 {
  printf("File Open Failed~!/n");
  return 1;
 }
 fread(&UnicodeHeader,sizeof(unsigned short),1,fp);
 //if satisfy the header requirement of the unicode file
 sprintf(newFileName,"new_%s",FileName);
 sprintf(ThrowFileName,"throw_%s",FileName);
 
 if (UnicodeHeader == 0xfeff)
 {
  fpNew = fopen(newFileName,"ab");
  fpThrow = fopen(ThrowFileName,"ab");
  if ((fpNew == NULL)|| (fpThrow == NULL))
  {
   printf("newFileName Open Failed~!/n");
   return 1;
  }
  
  while(fread(&CurRusCharUni,sizeof(unsigned short),1,fp))
  {
//   printf("Get a char unicode= %x/n",CurRusCharUni);

   if    ((CurRusCharUni >= 0x0041 && CurRusCharUni <= 0x005A) //A-->Z
    || (CurRusCharUni >= 0x0061 && CurRusCharUni <= 0x007A) //a-->z
#if defined(PORTUGUESE)
    || (CurRusCharUni >= 0x00C0 && CurRusCharUni <= 0x00C3) //Portuguese specific
    || (CurRusCharUni >= 0x00E0 && CurRusCharUni <= 0x00E3) //Portuguese specific
    || (CurRusCharUni == 0x00C7) || (CurRusCharUni == 0x00E7) //Portuguese specific
    || (CurRusCharUni == 0x00C9) || (CurRusCharUni == 0x00E9) //Portuguese specific
    || (CurRusCharUni == 0x00CA) || (CurRusCharUni == 0x00EA) //Portuguese specific
    || (CurRusCharUni == 0x00CD) || (CurRusCharUni == 0x00ED) //Portuguese specific
    || (CurRusCharUni >= 0x00D3  && CurRusCharUni <= 0x00D5) //Portuguese specific
    || (CurRusCharUni >= 0x00F3  && CurRusCharUni <= 0x00F5) //Portuguese specific
    || (CurRusCharUni == 0x00DA || CurRusCharUni == 0x00FA) //Portuguese specific
    || (CurRusCharUni == 0x00DC || CurRusCharUni == 0x00FC) //Portuguese specific
#elif defined(ITALIAN)
    || (CurRusCharUni == 0x00C8) || (CurRusCharUni == 0x00E8) //Italian
    || (CurRusCharUni == 0x00C9) || (CurRusCharUni == 0x00E9) //Italian
    || (CurRusCharUni == 0x00D2) || (CurRusCharUni == 0x00F2) //Italian
    || (CurRusCharUni == 0x00D3) || (CurRusCharUni == 0x00F3) //Italian
#elif defined(SPANISH)
    || (CurRusCharUni == 0x00C1) || (CurRusCharUni == 0x00E1)
    || (CurRusCharUni == 0x00C9) || (CurRusCharUni == 0x00E9)
    || (CurRusCharUni == 0x00CD) || (CurRusCharUni == 0x00ED)
    || (CurRusCharUni == 0x00D1) || (CurRusCharUni == 0x00F1)
    || (CurRusCharUni == 0x00D3) || (CurRusCharUni == 0x00F3)
    || (CurRusCharUni == 0x00DA) || (CurRusCharUni == 0x00FA)
    || (CurRusCharUni == 0x00DC) || (CurRusCharUni == 0x00FC)
    
#elif defined(FRANCH)
    || (CurRusCharUni == 0x00C0) || (CurRusCharUni == 0x00E0)
    || (CurRusCharUni == 0x00C2) || (CurRusCharUni == 0x00E2)
    || (CurRusCharUni >= 0x00C7) && (CurRusCharUni <= 0x00CB)
    || (CurRusCharUni >= 0x00E7) && (CurRusCharUni <= 0x00EB)
    || (CurRusCharUni == 0x00CE) || (CurRusCharUni == 0x00EE)
    || (CurRusCharUni == 0x00CF) || (CurRusCharUni == 0x00EF)
    || (CurRusCharUni == 0x00D4) || (CurRusCharUni == 0x00F4)
    || (CurRusCharUni == 0x00DB) || (CurRusCharUni == 0x00FB)
    || (CurRusCharUni == 0x00D9) || (CurRusCharUni == 0x00F9)
    || (CurRusCharUni == 0x00DC) || (CurRusCharUni == 0x00FC)
    || (CurRusCharUni == 0x0178) || (CurRusCharUni == 0x00FF)
#endif
    || IsDivision(CurRusCharUni))// validate character..
   {
    //写入新的文件
    Put2File(CurRusCharUni, fpNew, 0);
   }
   else //Replace some interpunction
   {
    printf("A unexpected char -[0x%x]- detected~/n", CurRusCharUni);
    if (CurRusCharUni == 0xff1f)//?
    {
     CurRusCharUni = 0x003f;
    }
    else if (CurRusCharUni == 0xff1c)//,
    {
     CurRusCharUni = 0x002c;
    }
    else if (CurRusCharUni == 0xff0e)//.
    {
     CurRusCharUni = 0x002e;
    }
    else if (CurRusCharUni == 0xff01)//!
    {
     CurRusCharUni = 0x0021;
    }
    else if ((CurRusCharUni == 0xff0d)||(CurRusCharUni >= 0x2013 && CurRusCharUni <= 0x2016))//-
    {
     CurRusCharUni = 0x002d;
    }
    else if (CurRusCharUni == 0xff1a)//:
    {
     CurRusCharUni = 0x003a;
    }
    else if (CurRusCharUni == 0xff1b)//;
    {
     CurRusCharUni = 0x003b;
    }
    else if ((CurRusCharUni == 0xff07)||(CurRusCharUni == 0x2018)||(CurRusCharUni == 0x2019))//'
    {
     CurRusCharUni = 0x0027;
    }
    else if ((CurRusCharUni == 0xff02)||(CurRusCharUni == 0x201d)||(CurRusCharUni == 0x201c))//"
    {
     CurRusCharUni = 0x0022;
    }
    else
    {
     Put2File(0x20, fpThrow, 1);
     fwrite(&CurRusCharUni,sizeof(unsigned short),1,fpThrow);
     
     ThrowCnt++;
     if (ThrowCnt%50 == 49)
     {
      printf("%d characters have been thrown out!/r/n",ThrowCnt);
     }
     continue;
    }
    Put2File(CurRusCharUni, fpNew, 0);
   }
  }
  fclose(fpThrow);
  fclose(fpNew);
 }

 fclose(fp);

 return 0;
}

#define UPDATE_PARTTIION_FILE /
do{  /
 FileCnt ++; /
 WordCnt = 0; /
 sprintf(partitionFileName, "%d_%s",FileCnt, newFileName); /
 fclose(fpPartition); /
 fpPartition = fopen(partitionFileName,"ab"); /
 fwrite(newline, sizeof(unsigned short), 4, fpFormat); /
 fwrite(newline, sizeof(unsigned short), 4, fpPartition); /
}while(0)

 

unsigned short FilePartition(char * FileName)
{
 FILE *fpNew = NULL;
 FILE *fpPartition = NULL;
 FILE *fpFormat = NULL;
 unsigned long ThrowCnt = 0;
 unsigned short UnicodeHeader = 0;
 unsigned short CurRusCharUni = 0;//个岸s鲰卓的nicode?
 int FileCnt = 1, WordCnt = 0;
 unsigned short newline[4] = {0x0d,0x0a,0x0d,0x0a};
 char newFileName[128] = {0};
 char partitionFileName[128] = {0};
 char FormatFileName[128] = {0};
 
 sprintf(newFileName,"new_%s",FileName);
 sprintf(FormatFileName,"format_%s",FileName);
 sprintf(partitionFileName, "%d_%s",FileCnt,newFileName);

     
 fpPartition = fopen(partitionFileName,"ab");
 fpFormat = fopen(FormatFileName,"ab");
 fpNew = fopen(newFileName,"rb");
    if ((fpNew == NULL)||(fpPartition == NULL)||(fpFormat == NULL))
    {
            printf("FilePartition File Open Failed~!/n");
            return 1;
    }

 
    //fread(&UnicodeHeader,sizeof(unsigned short),1,fp);
    //printf("Get a char unicode= %x/n",UnicodeHeader); 
 
 while((fread(&CurRusCharUni,sizeof(unsigned short),1,fpNew ))&&(fpPartition != NULL))
 {
  fwrite(&CurRusCharUni, sizeof(unsigned short), 1, fpPartition);
  fwrite(&CurRusCharUni, sizeof(unsigned short), 1, fpFormat);
  
  if(WordCnt < 40)
  {
   if(CurRusCharUni == SPACE)
    WordCnt++;
  }
  else if((WordCnt >= 40)&&(WordCnt < 50))
  {
   if(CurRusCharUni == SPACE)
    WordCnt++;
   else if(IsStop(CurRusCharUni))
   {
    FileCnt ++;
    UPDATE_PARTTIION_FILE;
   }
  }
  else if((WordCnt >= 50)&&(WordCnt < 65))
  {
   if(CurRusCharUni == SPACE)
    WordCnt++;
   else if(IsComma(CurRusCharUni))
   {
    UPDATE_PARTTIION_FILE;
   }
  }
  else
  {
   if(CurRusCharUni == SPACE)
   {
    UPDATE_PARTTIION_FILE;
   }
  }
 }
 fclose(fpNew); 
        //if satisfy the header requirement of the unicode file
 return 0;
}

int main(int argc, char * argv[])
{

 unsigned short RltOfFilter = 0;
 char buf[128] ={0};
 if(argc < 2 )
 { 
  printf("Please input the name of TXT file:/n");
  return 0;
 }
 
 sprintf(buf, "rm -rf Output new_%s throw_%s format_%s", argv[1], argv[1], argv[1]);
 system(buf);
 sprintf(buf, "mkdir %s_Output",  argv[1]);
 system(buf);

 RltOfFilter = UnicodeFilter( argv[1] );

 if(RltOfFilter != 0)
 {
  printf("[ERROR]  Format TXT File failed/n");
  return 0;
 }

 RltOfFilter = FilePartition( argv[1] );

 if(RltOfFilter != 0)
 {
         printf("[ERROR]  Partition TXT File failed/n");
         return 0;
 }
 sprintf(buf, "mv *_new_* ./%s_Output",  argv[1]);
 system(buf);
 return 0;
}

 

全国大学生数据统计与分析竞赛2021年【研究生组】-A题：基于文本向量空间的评阅专家观点评价模型的建立与分析（附优秀论文及python代码实现）
getusushu的博客
06-11 1085
摘 要随着我国高科技人才的需求不断扩大，我国研究生招生人数也因此逐年增加，研究生的毕业论文成为了检验研究生是否能够顺利毕业的重要标志，通过评审专家对研究生学位论文给出合理的评分和修改建议，通过评分来展示学位论文的水平和质量。针对问题1，进行数据预处理之后，根据题目要求筛选出问题论文。首先提取3位评阅专家给出的总分最低分，然后在学科门类内进行排名，找出末位后5%的论文定为问题论文并填写附件2。针对问题2，计算出各分项平均分和总分平均分填写于附件2。之后按照学科门类，分别。
中文/英文文本挖掘预处理流程总结
十三
01-07 2105
中文与英文文本挖掘的特点 第一，中文文本是没有像英文的单词空格那样隔开的，因此不能直接像英文一样可以直接用最简单的空格和标点符号完成分词。所以一般我们需要用分词算法来完成分词，在文本挖掘的分词原理中，我们已经讲到了中文的分词原理，这里就不多说。 第二，中文的编码不是utf8，而是unicode。这样会导致在分词的时候，和英文相比，我们要处理编码的问题。 1 中文文本挖掘预处理流程 1.1 数据收集...
[转] java - 过滤ASCII码中的不可见字符, ASCII三部分, 各控制字符详解
weixin_34245749的博客
02-02 5374
标签 PostgreSQL , java , Greenplum , 0x00 , 空字符 , NUL , 数据清洗 , 规则 , 过滤 , 非法字符 背景 原文 http://www.codeweblog.com/sqlserve%E5%88%B0pg%E8%BF%81%E7%A7%BB%E9%94%99%E8%AF%AF-%E6%97%A0%E...
UNICODE与 UTF-8 的转换详解
xianwen125的专栏
08-30 1365
UNICODE与 UTF-8的转换详解 1 编码  在计算机中，各种信息都是以二进制编码的形式存在的，也就是说，不管是文字、图形、声音、动画，还是电影等各种信息，在计算机中都是以０和１组成的二进制代码表示的。为了区分这些信息，人们就为计算机设计了一套识别准则，这也就是计算机编码。例如：英文字母与汉字的的区别，就是英文字母用的是单字节的ASCII码，汉字采用的是双字节的汉字内
过滤ASCII码中的不可见字符, ASCII三部分, 各控制字符详解, 去^@,^M
weixin_34384557的博客
06-02 3748
今天产品部同事报告了一个BUG，经过调试发现，由于用户输入的字符串中，包含字符0x1E, 也就是”记录分隔符”(Record Separator, Notepad++ 显示为[RS])，导致JavaScript XML解析遭遇错误。于是就想在字符串中过滤掉这些没多大用途的字符，同时又要保留部分常用的字符，例如换行，回车和水平制表符。于是写了下面一个 PHP 函数：  /** * 清...
html中文utf8编码转换工具,UTF-8编码转换
weixin_34369657的博客
05-31 684
一、UTF-8UTF-8(8-bit Unicode Transformation Format)是一种针对Unicode的可变长度字符编码，又称万国码。由Ken Thompson于1992年创建。现在已经标准化为RFC 3629。UTF-8用1到6个字节编码UNICODE字符。用在网页上可以同一页面显示中文简体繁体及其它语言(如英文，日文，韩文)。中文名UTF-8作 者Ken Thomps...
UNICODE与UTF-8的转换详解
三多
12-18 7154
UNICODE与UTF-8的转换详解   1 编码 在计算机中，各种信息都是以二进制编码的形式存在的，也就是说，不管是文字、图形、声音、动画，还是电影等各种信息，在计算机中都是以０和１组成的二进制代码表示的。为了区分这些信息，人们就为计算机设计了一套识别准则，这也就是计算机编码。例如：英文字母与汉字的的区别，就是英文字母用的是单字节的ASCII码，汉字采用的是双字节的汉字
UNICODE与 UTF-8的转换详解
yesterday you said tomorrow
06-10 1889
1 编码 在计算机中，各种信息都是以二进制编码的形式存在的，也就是说，不管是文字、图形、声音、动画，还是电影等各种信息，在计算机中都是以０和１组成的二进制代码表示的。为了区分这些信息，人们就为计算机设计了一套识别准则，这也就是计算机编码。例如：英文字母与汉字的的区别，就是英文字母用的是单字节的ASCII码，汉字采用的是双字节的汉字内码。 1.1 基本概念 * 字符：字符是抽象的最小文
UNICODE与 UTF8的转换详解
maomao2126的专栏
03-15 2060
<br />转载请注明出处： http://www.ins1000.cn/KnowledgeActionForReader?action=read&id=104 <br /><br />源文件下载地址：UTF- 8的转换详解(Word版) <br />1 编码 <br />在计算机中，各种信息都是以二进制编码的形式存在的，也就是说，不管是文字、图形、声音、动画，还是电影等各种信息，在计算机中都是以０和１组成的二进制代码表示的。为了区分这些信息，人们就为计算机设计了一套识别准则，这也就是计算机编码。例如：英文
jieba中的分词方法
tuqinag的专栏
01-26 1765
jieba中的分词方法最近刚好在看一些自然语言处理方面的东西，写的一些代码中也用到了jieba这个库，感觉从效果上来说还是可以的。就顺便把分词这一块的代码也给看了（关键词抽取部分的代码已经在之前的博客中提过了），接下来跟大家分享下其中的一些方法。首先是入口函数：re_han_default = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._]+)", re.U)
Java毕业设计外文翻译
05-30
- **面向字符的I/O**：随着Java的发展，为了更好地支持Unicode字符，Java在后续版本中引入了面向字符的I/O类库。 - **NIO (New I/O)**：为进一步提高性能和灵活性，Java 1.4引入了新的I/O API（通常称为NIO）。NIO...
【经典外文翻译】--java(译文-英文)—-毕业论文设计.doc
07-11
然而，随着Unicode的广泛使用，Java在后续版本中增加了面向Unicode字符的类库，以支持更广泛的文本编码。在JDK 1.4中引入了NIO（New I/O），这是一个性能优化的I/O模型，提供非阻塞I/O操作，以适应高并发和大数据...
DeepSpeech V2中文语音识别模型优化与实现
本文件“deepspeech v2.rar”所包含的内容聚焦于中文语音识别场景下的模型改进与工程优化，尤其体现在标签处理、非中文字符过滤以及张量操作中的 `permute` 和 `contiguous` 方法的应用上。从标题、描述及标签信息...
C/C++ linux 嵌入式相关 带答案的笔试题 汇总~~
03-28 5694
1. 以下三条输出语句分别输出什么？char str1[] = "abc";char str2[] = "abc";const char str3[] = "abc"; const char str4[] = "abc"; const char* str5 = "abc";const char* str6 = "abc";cout 输出什么？cout 输出什么？cout 输出什么？ 答：分别输
开源代码TinyPTC推荐： X11- FrameBuffer-linux-键盘事件处理
06-28 1538
推荐个开源软件，名字叫TinyPTC，sf.net可以下载。 这个软件实现了framebuffer的功能，接口非常简单易用。 特别适合于将 嵌入式应用（如：机顶盒应用） 一直到Linux PC 桌面系统上的开发。 FrameBuffer的实现有基于X11， xshm和其他的。下面说说我是咋用的吧。 我用了两类： 1. X11的：  用于将机顶盒应用移植到桌面系统上。机顶盒应用底层
An Introduction to Project Management
01-09 1069
Simple and Concise way of understanding Project Management   //By Duncan Haughey, PMP Project management in the modern sense began in the early 1960s, although it has its roots much further back i
C++入门10% 写的代码。。。
10-18 961
#include #include using namespace std;using namespace __gnu_cxx; int main(int argc , char * argv[]){        typedef pair PAIR;        hash_map test;                /*insert value*/        fo
strftime() 函数---> 时间格式化
09-04 816
strftime() 函数是一个很有用的时间格式化函数，主要用于将 time_t 中的数据计算获得各种形式的 字符串时间。我们可以使用strftime（）函数将时间格式化为我们想要的格式。它的原型如下：size_t strftime(  char *strDest,  size_t maxsize,  const char *format,  const struct tm *time
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值