java过滤非汉字的utf8的字符

最新推荐文章于 2021-03-05 09:18:14 发布

转载最新推荐文章于 2021-03-05 09:18:14 发布 · 3.4k 阅读

本文介绍了一种过滤UTF-8字符集中4字节字符的方法，并提供了一个Java实现示例。由于MySQL的UTF-8字符集仅支持最多3字节的字符，当需要存储完整的UTF-8字符时，需使用UTF-8 MB4字符集。对于无法更改字符集的情况，该方法可以过滤掉4字节的字符。

http://outofmemory.cn/code-snippet/2616/java-guolv-negate-hanzi-utf8-charaeter

static public String filterOffUtf8Mb4(String text) throws UnsupportedEncodingException {
        byte[] bytes = text.getBytes("utf-8");
        ByteBuffer buffer = ByteBuffer.allocate(bytes.length);
        int i = 0;
        while (i < bytes.length) {
            short b = bytes[i];
            if (b > 0) {
                buffer.put(bytes[i++]);
                continue;
            }
            b += 256;
            if ((b ^ 0xC0) >> 4 == 0) {
                buffer.put(bytes, i, 2);
                i += 2;
            }
            else if ((b ^ 0xE0) >> 4 == 0) {
                buffer.put(bytes, i, 3);
                i += 3;
            }
            else if ((b ^ 0xF0) >> 4 == 0) {
                i += 4;
            }
        }
        buffer.flip();
        return new String(buffer.array(), "utf-8");
    }

utf8是变长字符集，单个字符占用1～4个字节。mysql在选择utf8字符集时，最多只能存储3个字节的utf8字符，如果想要保存任意的utf8字符，数据必须用utf8mb4字符集，有些情况下，不能变更已选定的字符集，只好不得以而为之，把输入中的4个字节的utf8字符全部过滤掉，好在，utf8字符集中，汉字是3个字节的。