flume读取kafka写入hive异常解决-Unable to deliver event. Exception follows.

最新推荐文章于 2022-03-24 16:37:22 发布

lcl_bigdata

最新推荐文章于 2022-03-24 16:37:22 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： flume hive Kafka 文章标签： flume hadoop

本文链接：https://blog.youkuaiyun.com/hello_java_lcl/article/details/106193360

本文详细记录了使用Flume将数据从Kafka写入Hive时遇到的连接异常问题，包括错误信息、可能的原因及解决步骤。通过调整classpath参数，最终解决了问题，但仍有部分数据未被处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

用flume访问kafka，写入hive数据库时，启动命令：bin/flume-ng agent -n agent -c conf -f conf/flume.properties -Dflume.root.logger=DEBUG,console

配置文件是安装flume官方文档配置的，很全，地址：http://flume.apache.org/FlumeUserGuide.html#kafka-sink

启动flume之后，报错：

ERROR flume.SinkRunner: Unable to deliver event. Exception follows.
org.apache.flume.EventDeliveryException: org.apache.flume.sink.hive.HiveWriter$ConnectException: Failed connecting to EndPoint {metaStoreUri=’thrift://192.168.100.223:9000’, database=’hivedb’, table=’t_traffic_his’, partitionVals=[2017-07-12] }
at org.apache.flume.sink.hive.HiveSink.process(HiveSink.java:267)
at org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:67)
at org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:145)
at java.lang.Thread.run(Thread.java:745)
Caused by: