关于flume使用SpoolDir监控目录传入文件时报出java.nio.charset.MalformedInputException: Input length = 1，个人解决方案

最新推荐文章于 2025-02-19 15:33:39 发布
原创 最新推荐文章于 2025-02-19 15:33:39 发布 · 4.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Input length 1 #java.nio.charset.Mal #flume传文件报错

本文介绍了一种在使用Flume SpoolDir源时遇到的文件编码问题及解决方案。当传入的文件出现java.nio.charset.MalformedInputException异常时，可能是由于文件编码不符合要求导致。文中提供了一个有效的方法：将文件转换为UTF-8无BOM格式，并移除异常字符。

不管在什么地方,什么时候,学习是快速提升自己的能力的一种体现!!!!!!!!!!!


今天测试flume框架时使用SpoolDir监控目录的形式启动了flume，传入文件时报出了如下错误：

java.nio.charset.MalformedInputException: Input length = 1
        at java.nio.charset.CoderResult.throwException(CoderResult.java:281)

在网上也没有搜索到满意的答案，后面误打误撞就解决了，造成的原因可能是因为传入的文件编码格式不符合要求，比如隐藏了一些你看不到的字符，我的解决方案是把文件转成UTF-8无BOM格式，如果你转成无BOM格式之后出现了一些字符，把哪些字符删除重新启动flume再传改编码之后的文件就不会出现这样的错误了


flume系列之：消费Kafka集群Topic报错java.io.IOException: Can‘t resolve address: data03:9092
zhengzaifeidelushang的博客
09-21 719
flume系列之：消费Kafka集群Topic报错java.io.IOException: Can't resolve address: data03:9092。
Flume Spooldir 源的一些问题
White_Lee的专栏
06-26 387
最近在用Flume做数据的收集。用到了里面的Spooldir的源在使用中有如下的问题： 如果文件的某一行有乱码，不符合指定的编码规范，那么flume会抛出一个exception，然后就停在那儿了。 spooldir指定的文件夹中的文件一旦被修改，flume就会抛出一个exception，然后停在那儿了。 其实，flume的最大问题就是不够鲁棒。一旦出现问题，不能跳过，只能死在那儿。不知道...
解决flume监听文件夹，上传文件时出现java.nio.charset.MalformedInputException: Input length = 1
tanxinji的博客
06-27 844
 使用flume监听文件夹报错: java.nio.charset.MalformedInputException: Input length = 1 at java.nio.charset.CoderResult.throwException(CoderResult.java:281) ~[?:1.8.0_151] at org.apache.flume.serialization.ResettableFileInputStream.readChar(ResettableFileInputStream.j
SpringBoot启动java.nio.charset.MalformedInputException: Input length = 1报错的解决方案
最新发布
新技术革命
02-19 1819
找了很久问题，使用eclipse和idea同时测试，最终发现，是maven在项目编译时，默认字符集编码是GBK。最近新搭的一个eureka项目，启动时，会报MalformedInputException这个异常，但是通过cmd命令，mvn clean compile 后，项目又可以成功运行。出现这个的原因，就是解析yml文件时，中文字符集不是utf-8的原因，有的说，把yml复制到txt再复制回来。有的说，设置idea的utf-8环境。百度了很久，网上说的千篇一律，下面是这个简单的异常信息。
Flume报错：java.nio.charset.MalformedInputException: Input length = 1
关注网络安全、云原生安全
03-15 1536
报错信息： [ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirectorySource.java:256)] FATAL: Spool Directory source r1: { spoolDir: /home/frankyu/serverlogs }: Uncaug...
flume报java.nio.charset.MalformedInputException: Input length = 1 解决方案
热门推荐
Nicole Cao的博客
11-03 1万+
Flume读取文件的过程中，遇到了如下的错误： 问题原因：source组件的属性 inputCharset 默认的是 UTF-8, 但实际读取的文件类型是 ANSI（GBK）。 解决方案：a1.sources.r2.inputCharset = GBK  //将 inputCharset 设置为 GBK 即可。
flume 报错 java.nio.charset.MalformedInputException:Input lenth =1怎么解决
10-19
flume报错java.nio.charset.MalformedInputException: Input length = 1通常是由于flume接收到的数据编码格式不正确导致的。解决方案如下： 1.检查flume配置文件中的编码格式是否正确。 2.检查flume接收到的数据是否...
关于flume 中spooldir传输数据报出HDFS IO error ..... File type DataStream not supported 错误解决
hui_2016的博客
04-20 3579
不管在什么地方,什么时候,学习是快速提升自己的能力的一种体现!!!!!!!!!!! 今天在测试flume中spooldir传输数据的时候报出了一个HDFS IO 错误，错误如下图 错误之前的spool.conf配置如下 #agent的原始源（sources）、管道（Channel）、目标源（sinks） agent.sources=dataDir
Flume的搭建及安装 上传HDFS网页当中 连接被拒绝……Trying ::1...telnet: connect to address ::1: Connection refused
2201_75806156的博客
11-03 1080
是一个的海量的系统。Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景。
Flume实时监控目录Spooldir
HoppingMad的博客
12-18 2794
文章目录前言一、spooldir简介二、五步法编写Agent配置三、导入驱动，准备数据1.导入驱动（重复提醒）2.创建几个数据文件三、启动Agent测试总结 前言 提示：本篇为Flume系列的实战应用，在阅读此文前请务必安装好Flume环境，可以参考日志收集工具Flume的简介与安装，基本使用可以参考Flume基本使用，监控文件变化可以参考Flume应用篇之实时监控日志并存储至HDFS，重复内容不再赘述。本机环境为： CentOS 6.5 CDH 5.3.6 JDK 1.7 本文还实现了source的文.
问题解决：java.nio.charset.MalformedInputException: Input length = 1
qq_29096505的博客
06-18 5227
在开发时需要将服务器jar包拿到本地进行运行（配置文件在nacos），在windows11 cmd 中运行与服务器同样命令 java -jar xx.jar 时抛错。
java.nio.charset.MalformedInputException: Input length = 1
weixin_44026997的博客
10-09 670
出现这个异常，多数是SpringBoot中的yml文件编码问题，yml文件中有中文，比如注解。 解决办法，将文件编码设置和项目编码一致。 或者直接删除中文
java flume hbase_flume java.nio.charset.MalformedInputException
weixin_27228507的博客
02-24 264
电影评分大作业，flume启动后报如此异常16/07/11 10:48:08 ERROR source.SpoolDirectorySource: FATAL: Spool Directory source r1: { spoolDir: /mnt/project/bootcamp/practise/movielens/data/ml-1m/ }: Uncaught exception in Sp...
[错误解决]Caused by: java.nio.charset.MalformedInputException: Input length = 1
qq_46984123的博客
11-16 7423
[错误解决]Caused by: java.nio.charset.MalformedInputException: Input length = 1
SpringBoot 运行出现java.nio.charset.MalformedInputException: Input length = 1
风水道人
01-30 1040
SpringBoot 运行出现java.nio.charset.MalformedInputException: Input length = 1
【Springboot】启动 报错java.nio.charset.MalformedInputException: Input length = 1
daohangtaiqian的博客
04-16 531
今天做迁移项目的时候，突然起不来了报错了，后面排查是编码的问题，所以改了一下编码，特此记录。改完了启动不好使重新编译一下项目或者重启清下缓存都可以。为了省事我把文件都加入到转义编码里面了。
flume一直报java.nio.charset.MalformedInputException: Input length = 1，如何精准确定是文件内容的原因
12-08
当Flume在处理数据流时遇到`java.nio.charset.MalformedInputException: Input length = 1`这个错误，通常表示它在尝试读取或解码输入数据时，遇到了非预期的字符序列。这可能是由于以下几个原因： 1. **编码问题**...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值