universalchardet学习

最新推荐文章于 2023-08-25 19:02:43 发布

ufwt

最新推荐文章于 2023-08-25 19:02:43 发布

阅读量3.3k

点赞数

分类专栏： c++ 文章标签： character mozilla each scheme report byte

c++ 专栏收录该内容

15 篇文章

订阅专栏

本文介绍了mozilla的universalchatdet模块，该模块用于判断文本的编码类型。通过处理文本批次，结合编码方案方法、字符分布及双字符序列分布来确定编码。具体流程包括检查字节标记、ASCII状态以及多字节探测等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

mozilla有一个模块，叫universalchatdet，是用来判断是什么编码的他的主要流程是这样的：

HandleData(batch_of_text) 
{ 
  if (batch_of_text contains BOM) 
    report UCS2; 
  if ((inputState is PureAscii) || (inputState is EscAscii)) 
    if (batch_of_text contains 8-bits-byte) 
      inputState = HighByte; 
    else if ((inputState is PureAscii ) && (batch_of_text contains Esc_Sequence) ) 
      inputState = EscAscii; 

  if (inputState is HighByte) 
  { 
    Remove Ascii character that is not neighboring to 8-bits byte 
    For each prober in multibyte_probers 
    Prober.HandleData(batch_of_text); 
    For each prober in singlebyte_probers 
    Prober.HandleData(batch_of_text); 
  } 
  else if (inputState is EscAscii) 
  { 
    For each prober in (ISO2022_XX or HZ) 
    Prober.HandleData(batch_of_text); 
  } 
}

用了3中方法： 1) Coding scheme method, 2) Character Distribution, 3) 2-Char Sequence Distribution