判断字符串的编码类型(GBK / UTF8)

最新推荐文章于 2023-06-12 13:31:49 发布

转载最新推荐文章于 2023-06-12 13:31:49 发布 · 9k 阅读

文章标签：

#string

my study record 专栏收录该内容

37 篇文章

订阅专栏

本文介绍了一种用于检测字符串是否为GBK或UTF-8编码的方法。通过两个不同的函数实现，可以判断输入的字符是否符合这两种编码的标准形式。对于需要处理大量文本数据的应用场景，这些函数提供了一个简单而有效的解决方案。

GBK:

_____________________________________________________________

int isgbk(char *s, size_t ns)
{
      if(ns > 2 && (uint8_t)*s >= 0x81 && (uint8_t)*s <= 0xfe
            && (
                     ((uint8_t)*(s+1) >= 0x80 && (uint8_t)*(s+1) <= 0x7e)
                     || ((uint8_t)*(s+1) >= 0xa1 && (uint8_t)*(s+1) <= 0xfe)
                  )
      )
      {
            return 1;
      }
      return 0;
}

_______________________________________________________________

bool isGBKCode(const string& strIn)
{
    unsigned char ch1;
    unsigned char ch2;

    if (strIn.size() >= 2)
    {
        ch1 = (unsigned char)strIn.at(0);
        ch2 = (unsigned char)strIn.at(1);
        if (ch1>=129 && ch1<=254 && ch2>=64 && ch2<=254)
            return true;
        else return false;
    }
    else return false;
}
______________________________________________________________

UTF8:

______________________________________________________________

int isutf8(char *s, size_t ns)
{
        uint8_t x = 0, i = 0, j = 0, nbytes = 0, n = 0;

      for(i = 1; i < 7; i++)
      {
            x = (uint8_t)(255 << i);
            if(((uint8_t)*s & x) == x)
            {
                     n = nbytes = (8 - i);
                     for(j = 0; (j < nbytes && j < ns); j++)
                     {
                              if((uint8_t)s[j] <= 0x80 && (uint8_t)s[j] >= 0xc0)break;
                              else n--;
                     }
                     if(n == 0) return nbytes;
            }
      }
      return 0;
}

______________________________________________________________