Flume学习12_Flume Spooling directory source读取文件格式的要求

最新推荐文章于 2025-09-16 09:26:20 发布

原创

最新推荐文章于 2025-09-16 09:26:20 发布 · 8k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flume

本文详细介绍了在使用Flume的Spooling directory source时，不同文件格式可能导致的错误情况。实验涵盖了包含汉字、特殊字符、回车符和CSV格式的文件，发现这些文件在读取时会出现问题。而纯数字或无特殊字符的文件则能成功读取。这为理解和优化Flume的数据源配置提供了参考。

把Flume的Source设置为 Spooling directory source，在设定的目录下放置需要读取的文件，一些文件在读取过程中会报错。

文件格式和报错如下：

实验一

读取汉子和“；"符号的TXT文档

会报一下错误

2015-11-06 22:16:02,386 (pool-3-thread-1) [ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirectorySource.java:256)] FATAL: Spool Directory source r1: { spoolDir: /home/hadoop/flumeSpool-2 }: Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.
java.nio.charset.MalformedInputException: Input length = 1
	at java.nio.charset.CoderResult.throwException(CoderResult.java:281)
	at org.apache.flume.serialization.ResettableFileInputStream.readChar(ResettableFileInputStream.java:195)

实验二

读取数字和”；“符号的TXT文档