java.lang.NullPointerException: Expected timestamp

最新推荐文章于 2025-02-22 20:11:48 发布

weixin_34221112

最新推荐文章于 2025-02-22 20:11:48 发布

阅读量207

点赞数

CC 4.0 BY-SA版权

文章标签： java 大数据 python

原文链接：https://my.oschina.net/firstBlooded/blog/616879

本文介绍了在使用Flume将数据写入HDFS时遇到的问题及解决方法。特别是当使用目录自动生成功能时，如何正确配置时间戳来按小时划分文件夹，确保数据能够被准确地存储。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

使用flume的时候出现的问题。

sink是hdfs，然后使用目录自动生成功能。出现如题的错误，看官网文档说的是需要在每个文件记录行的开头需要有时间戳，但是时间戳的格式可能比较难调节，所以亦可设置 hdfs.useLocalTimeStamp这个参数，比如以每个小时作为一个文件夹，那么配置应该是这样：

a1.sinks.k1.hdfs.path = hdfs://ubuntu:9000/flume/events/%y-%m-%d/%H
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.round = truea1.sinks.k1.hdfs.roundValue = 1
a1.sinks.k1.hdfs.roundUnit = hour
a1.sinks.k1.hdfs.useLocalTimeStamp = true

或者修改 hdfs.timeZone这个参数使之可以和我们上传的log文件的日期格式一样应该就可以了，没有测试过。

转载于:https://my.oschina.net/firstBlooded/blog/616879