移除不能识别的(invalid)utf8字符

最新推荐文章于 2022-11-18 09:40:12 发布

nanguazhuo

最新推荐文章于 2022-11-18 09:40:12 发布

阅读量1.3k

点赞数

分类专栏： C++ 算法与仿真

本文链接：https://blog.youkuaiyun.com/nanguazhuo/article/details/53743906

版权

这段代码定义了一个名为`remove_invalid_utf8`的函数，用于移除和替换非有效的UTF-8字符。它通过检查每个字符的最高位来确定其是否为有效的UTF-8编码。如果编码无效，字符将被替换为空格。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

/*数出从左到右连续1的个数*/
static inline int left_1_count(unsigned char i) {
    constexpr static int map_table[]={
        /*0000'0000*/0,
        /*0000'0001*/0,
        /*0000'0010*/0,
        /*0000'0011*/0,
        /*0000'0100*/0,
        /*0000'0101*/0,
        /*0000'0110*/0,
        /*0000'0111*/0,
        /*0000'1000*/0,
        /*0000'1001*/0,
        /*0000'1010*/0,
        /*0000'1011*/0,
        /*0000'1100*/0,
        /*0000'1101*/0,
        /*0000'1110*/0,
        /*0000'1111*/0,
        /*0001'0000*/0,
        /*0001'0001*/0,
        /*0001'0010*/0,
        /*0001'0011*/0,
        /*0001'0100*/0,
        /*0001'0101*/0,
        /*0001'0110*/0,
        /*0001'0111*/0,
        /*0001'1000*/0,
        /*0001'1001*/0,
        /*0001'1010*/0,
        /*0001'1011*/0,
        /*0001'1100*/0,
        /*0001'1101*/0,
        /*0001'1110*/0,
        /*0001'1111*/0,
        /*0010'0000*/0,
        /*0010'0001*/0,
        /*0010'0010*/0,
        /*0010'0011*/0,
        /*0010'0100*/0,
        /*0010'0101*/0,
        /*0010'0110*/0,
        /*0010'0111*/0,
        /*0010'1000*/0,
        /*0010'1001*/0,
        /*0010'1010*/0,
        /*0010'1011*/0,
        /*0010'1100*/0,
        /*0010'1101*/0,
        /*0010'1110*/0,
        /*0010'1111*/0,
        /*0011'0000*/0,
        /*0011'0001*/0,
        /*0011'0010*/0,
        /*0011'0011*/0,
        /*0011'0100*/0,
        /*0011'0101*/0,
        /*0011'0110*/0,
        /*0011'0111*/0,
        /*0011'1000*/0,
        /*0011'1001*/0,
        /*0011'1010*/0,
        /*0011'1011*/0,
        /*0011'1100*/0,
        /*0011'1101*/0,
        /*0011'1110*/0,
        /*0011'1111*/0,
        /*0100'0000*/0,
        /*0100'0001*/0,
        /*0100'0010*/0,
        /*0100'0011*/0,
        /*0100'0100*/0,
        /*0100'0101*/0,
        /*0100'0110*/0,
        /*0100'0111*/0,
        /*0100'1000*/0,

最低0.47元/天解锁文章