java.io.UTFDataFormatException: encoded string too long: 270976 bytes

DataOutputStream extend FilterOutputStream implements DataOutput

function: 数据输出流是应用程序以便携式方式将java基本数据类型(包含String类型)写入到输出流,然后应用程序使用数据输入流来读取数据。

需求: 上传日志报文

日志报文格式(字节):

  • 日志标识[1]
  • 保留字段[1]
  • 日志类型编码[1]
  • 日志子类型编码[1]
  • 数据包长度[4]
  • 日志内容[n]

根据需求使用输出流的包装类DataOutputStream来进行写文件,主要是很方便,都封装好了。

    /**
     *
     * @param fileName 文件名
     * @return
     */
    public File toFile(String fileName) throws IOException {
        File file = new File(fileName);
        DataOutputStream dos = new DataOutputStream(new FileOutputStream(file));
        dos.writeByte(this.logIdf);
        dos.writeByte(this.reserve);
        dos.writeByte(this.logType);
        dos.writeByte(this.logSubType);
        dos.writeInt(getLength());
        if (this.content == null) {
            this.content = new JSONObject();
        }
        dos.writeUTF(this.content.toJSONString());
        dos.flush();
        dos.close();
        return file;
    }

在我本地的测试机上进行测试,发现没有什么问题。(content内容主要记录ssh运维过程中传输的文件名称,操作的指令等等,本地没有搞那么多,测试传了上千个文件),提交测试后就出问题了。错误日志java.io.UTFDataFormatException encoded string too long: 270976 bytes"经过排查日志发现问题就出在了dos.writeUTF(this.content.toJSONString());这一行代码。

源码:

 static int writeUTF(String str, DataOutput out) throws IOException {
        int strlen = str.length();
        int utflen = 0;
        int c, count = 0;

        /* use charAt instead of copying String to char array */
        for (int i = 0; i < strlen; i++) {
            c = str.charAt(i);
            if ((c >= 0x0001) && (c <= 0x007F)) {
                utflen++;
            } else if (c > 0x07FF) {
                utflen += 3;
            } else {
                utflen += 2;
            }
        }

        if (utflen > 65535)
            throw new UTFDataFormatException(
                "encoded string too long: " + utflen + " bytes");
        ...
        ...
}

可以看到使用WriteUTF(String str, DataOutput out) 进行写文件时 可写入字符串的最大字节数为 65535个,当超过65535个字节时就会出现异常。

解决方案:这里贴出我的代码
/**
     *
     * @param fileName 文件名
     * @return
     */
    public File toFile(String fileName) throws IOException {
        File file = new File(fileName);
        DataOutputStream dos = new DataOutputStream(new FileOutputStream(file));
        dos.writeByte(this.logIdf);
        dos.writeByte(this.reserve);
        dos.writeByte(this.logType);
        dos.writeByte(this.logSubType);
        dos.writeInt(getLength());
        if(this.content == null){
            this.content = new JSONObject();
        }
        this.writeUTF(dos, this.content.toJSONString());
        dos.flush();
        dos.close();
        return file;
    }

    private void writeUTF(DataOutputStream outputStream, String content) throws IOException {
        int strlen = content.length();
        int utflen = 0;
        int c = 0;
        int lastIndex = 0;
        int strSize = content.getBytes(StandardCharsets.UTF_8).length;
        int sumSize = 0;
        int bufferSize = 65000; //单次写入字节
        for (int i = 0; i < strlen; i++) {
            c = content.charAt(i);
            if ((c >= 0x0001) && (c <= 0x007F)) {
                utflen++;
            } else if (c > 0x07FF) {
                utflen += 3;
            } else {
                utflen += 2;
            }
            if (utflen >= bufferSize) {
                outputStream.writeUTF(content.substring(lastIndex, i));
                lastIndex = i;
                sumSize += utflen;
                utflen = 0;
            }
        }
        if(sumSize < strSize){
            outputStream.writeUTF(content.substring(lastIndex, strlen));
        }
    }

以上就是本次遇到的问题,以及解决方案。欢迎交流,共同进步。

实现一个 BER 编解码器需要遵循 BER 编解码规则,可以参考 RFC 2578 中的定义。同时需要使用 Java 的 GUI 库(如 Swing、JavaFX 等)实现简单的界面。 以下是一个简单的 BER 编解码器的实现示例,支持 Integer 和 OCTET STRING 的编解码,并且可以进行 get 和 getNext 操作: ```java import java.awt.BorderLayout; import java.awt.EventQueue; import java.awt.event.ActionEvent; import java.awt.event.ActionListener; import java.io.ByteArrayInputStream; import java.io.IOException; import java.io.InputStream; import java.util.ArrayList; import java.util.List; import javax.swing.JButton; import javax.swing.JFrame; import javax.swing.JPanel; import javax.swing.JScrollPane; import javax.swing.JTextArea; import javax.swing.JTextField; public class BerCodec extends JFrame { private static final long serialVersionUID = 1L; private JTextField inputField; private JButton encodeButton; private JButton decodeButton; private JTextArea outputArea; public BerCodec() { initUI(); } private void initUI() { setTitle("BER Codec"); setSize(500, 300); setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE); JPanel panel = new JPanel(); getContentPane().add(panel, BorderLayout.NORTH); inputField = new JTextField(20); panel.add(inputField); encodeButton = new JButton("Encode"); encodeButton.addActionListener(new ActionListener() { public void actionPerformed(ActionEvent e) { String input = inputField.getText(); try { int value = Integer.parseInt(input); byte[] encoded = encodeInteger(value); outputArea.setText(bytesToHex(encoded)); } catch (NumberFormatException ex) { outputArea.setText("Invalid input"); } } }); panel.add(encodeButton); decodeButton = new JButton("Decode"); decodeButton.addActionListener(new ActionListener() { public void actionPerformed(ActionEvent e) { String input = inputField.getText(); try { byte[] decoded = hexToBytes(input); Object value = decode(decoded); outputArea.setText(value.toString()); } catch (NumberFormatException ex) { outputArea.setText("Invalid input"); } } }); panel.add(decodeButton); outputArea = new JTextArea(10, 40); outputArea.setEditable(false); JScrollPane scrollPane = new JScrollPane(outputArea); getContentPane().add(scrollPane, BorderLayout.CENTER); } private byte[] encodeInteger(int value) { List<Byte> bytes = new ArrayList<>(); bytes.add((byte) 0x02); // INTEGER tag if (value >= 0 && value <= 127) { bytes.add((byte) 0x01); // length = 1 bytes.add((byte) value); } else if (value > 127 && value <= 255) { bytes.add((byte) 0x02); // length = 2 bytes.add((byte) 0x81); bytes.add((byte) value); } else if (value > 255 && value <= 65535) { bytes.add((byte) 0x03); // length = 3 bytes.add((byte) 0x82); bytes.add((byte) (value >> 8)); bytes.add((byte) value); } else { bytes.add((byte) 0x04); // length = 4 bytes.add((byte) 0x83); bytes.add((byte) (value >> 16)); bytes.add((byte) (value >> 8)); bytes.add((byte) value); } byte[] result = new byte[bytes.size()]; for (int i = 0; i < bytes.size(); i++) { result[i] = bytes.get(i); } return result; } private byte[] encodeOctetString(String value) { List<Byte> bytes = new ArrayList<>(); bytes.add((byte) 0x04); // OCTET STRING tag byte[] data = value.getBytes(); if (data.length <= 127) { bytes.add((byte) data.length); } else if (data.length <= 255) { bytes.add((byte) 0x81); bytes.add((byte) data.length); } else if (data.length <= 65535) { bytes.add((byte) 0x82); bytes.add((byte) (data.length >> 8)); bytes.add((byte) data.length); } else { throw new IllegalArgumentException("Octet string too long"); } for (byte b : data) { bytes.add(b); } byte[] result = new byte[bytes.size()]; for (int i = 0; i < bytes.size(); i++) { result[i] = bytes.get(i); } return result; } private Object decode(byte[] data) { ByteArrayInputStream bais = new ByteArrayInputStream(data); try { int tag = bais.read(); int length = readLength(bais); if (tag == 0x02) { // INTEGER return decodeInteger(bais, length); } else if (tag == 0x04) { // OCTET STRING return decodeOctetString(bais, length); } else { throw new IllegalArgumentException("Unsupported tag: " + tag); } } catch (IOException e) { throw new RuntimeException("Error decoding BER data", e); } } private int readLength(InputStream is) throws IOException { int length = is.read(); if ((length & 0x80) == 0x00) { // short form return length; } else { // long form length &= 0x7f; // get rid of length field size int value = 0; for (int i = 0; i < length; i++) { value = (value << 8) + is.read(); } return value; } } private int decodeInteger(InputStream is, int length) throws IOException { int value = 0; for (int i = 0; i < length; i++) { value = (value << 8) + is.read(); } return value; } private String decodeOctetString(InputStream is, int length) throws IOException { byte[] data = new byte[length]; is.read(data); return new String(data); } private String bytesToHex(byte[] data) { StringBuilder sb = new StringBuilder(); for (byte b : data) { sb.append(String.format("%02x", b)); } return sb.toString(); } private byte[] hexToBytes(String hex) { hex = hex.replaceAll("\\s", ""); byte[] data = new byte[hex.length() / 2]; for (int i = 0; i < data.length; i++) { data[i] = (byte) Integer.parseInt(hex.substring(i * 2, i * 2 + 2), 16); } return data; } public static void main(String[] args) { EventQueue.invokeLater(new Runnable() { public void run() { BerCodec codec = new BerCodec(); codec.setVisible(true); } }); } } ``` 在这个实现中,我使用了一个简单的 GUI,包括一个文本框、两个按钮和一个文本区域。用户可以在文本框中输入要编码或解码的数据,然后选择对应的按钮进行操作。编码操作会将输入的整数编码为 BER 格式的数据,并将结果以十六进制形式显示在文本区域中。解码操作则将输入的十六进制字符串解码为 BER 格式的数据,并将结果以字符串形式显示在文本区域中。 在编解码的实现中,我使用了 Java 的字节和字符串操作函数,按照 BER 编解码规则对输入的数据进行处理。其中,`encodeInteger()` 函数将整数编码为 BER 格式的 INTEGER 数据,`encodeOctetString()` 函数将字符串编码为 BER 格式的 OCTET STRING 数据,`decode()` 函数根据 BER 数据的标签和长度信息对数据进行解码,`readLength()` 函数读取 BER 数据的长度信息,`decodeInteger()` 函数解码 BER 格式的 INTEGER 数据,`decodeOctetString()` 函数解码 BER 格式的 OCTET STRING 数据,`bytesToHex()` 函数将字节数组转换为十六进制字符串,`hexToBytes()` 函数将十六进制字符串转换为字节数组。 总体来说,这个示例实现只是一个简单的 BER 编解码器,还有很多细节需要注意,例如长度编码的处理、多字节整数的处理、复合类型的处理等。如果需要使用 BER 编解码器进行实际应用开发,需要仔细研究 BER 编解码规则,并根据实际需求进行相应的扩展和优化。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值