393. UTF-8 Validation

本文深入探讨了UTF-8编码的验证算法,详细解析了如何通过位操作判断输入整数数组是否符合UTF-8编码规则。文章阐述了UTF-8编码的特性,包括不同长度字符的编码方式,以及如何通过算法进行有效性检查。

393. UTF-8 Validation


A character in UTF8 can be from 1 to 4 bytes long, subjected to the following rules:

For 1-byte character, the first bit is a 0, followed by its unicode code.
For n-bytes character, the first n-bits are all one’s, the n+1 bit is 0, followed by n-1 bytes with most significant 2 bits being 10.
This is how the UTF-8 encoding would work:

Char. number range | UTF-8 octet sequence
(hexadecimal) | (binary)
--------------------±--------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
Given an array of integers representing the data, return whether it is a valid utf-8 encoding.

Note:
The input is an array of integers. Only the least significant 8 bits of each integer is used to store the data. This means each integer represents only 1 byte of data.

Example 1:

data = [197, 130, 1], which represents the octet sequence: 11000101 10000010 00000001.

Return true.

It is a valid utf-8 encoding for a 2-bytes character followed by a 1-byte character.

Example 2:

data = [235, 140, 4], which represented the octet sequence: 11101011 10001100 00000100.

Return false.

The first 3 bits are all one’s and the 4th bit is 0 means it is a 3-bytes character.
The next byte is a continuation byte which starts with 10 and that’s correct.
But the second continuation byte does not start with 10, so it is invalid.

方法1:

思路:

对于UTF-8编码中的任意字节B,如果B的第一位为0,则B独立的表示一个字符(ASCII码);
如果B的第一位为1,第二位为0,则B为一个多字节字符中的一个字节(非ASCII字符);
如果B的前两位为1,第三位为0,则B为两个字节表示的字符中的第一个字节;
如果B的前三位为1,第四位为0,则B为三个字节表示的字符中的第一个字节;
如果B的前四位为1,第五位为0,则B为四个字节表示的字符中的第一个字节;
因此,对UTF-8编码中的任意字节,根据第一位,可判断是否为ASCII字符;根据前二位,可判断该字节是否为一个字符编码的第一个字节;根据前四位(如果前两位均为1),可确定该字节为字符编码的第一个字节,并且可判断对应的字符由几个字节表示;根据前五位(如果前四位为1),可判断编码是否有错误或数据传输过程中是否有错误。

首先判断之前是否出现标示字节。用count来计数,首先shift 5位之后是否等于0b110,如果等于,后面要跟count = 1个字节码;shift 4位和0b1110比,count = 2;shift 3位和0b111110,count = 3。如果都不是的话,还要排除首位为1的情况,是非法的标示,也非ASCII。如果没有被返回,说明是以0为开头,是ascii,可以let it pass。如果已经被标示,后面的每一个数字必须以10开始。最后还要检查是否承诺过的count都已经出现过了。

易错点:

  1. 最后还要检查是否承诺过的count都已经出现过了。
class Solution {
public:
    bool validUtf8(vector<int>& data) {
         int count = 0;
         for (auto num: data) {
             // 如果之前尚未出现标示字节,必须标示,否则必须是ASCII码
             if (count == 0) {
                 if ((num >> 5) == 0b110) count = 1;
                 else if ((num >> 4) == 0b1110) count = 2;
                 else if ((num >> 3) == 0b11110) count = 3;
                 else if (num >> 7) return false;
             }
             else {
                 if ((num >> 6) != 0b10) return false;
                 count--;
             }
         }
        return count == 0;
    }
};
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值