flume读取kafka写入hive异常解决-Unable to deliver event. Exception follows.

本文详细记录了使用Flume将数据从Kafka写入Hive时遇到的连接异常问题,包括错误信息、可能的原因及解决步骤。通过调整classpath参数,最终解决了问题,但仍有部分数据未被处理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

用flume访问kafka,写入hive数据库时,启动命令:bin/flume-ng agent -n agent -c conf -f conf/flume.properties -Dflume.root.logger=DEBUG,console

配置文件是安装flume官方文档配置的,很全,地址:http://flume.apache.org/FlumeUserGuide.html#kafka-sink

启动flume之后,报错:

ERROR flume.SinkRunner: Unable to deliver event. Exception follows.
org.apache.flume.EventDeliveryException: org.apache.flume.sink.hive.HiveWriter$ConnectException: Failed connecting to EndPoint {metaStoreUri=’thrift://192.168.100.223:9000’, database=’hivedb’, table=’t_traffic_his’, partitionVals=[2017-07-12] }
at org.apache.flume.sink.hive.HiveSink.process(HiveSink.java:267)
at org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:67)
at org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:145)
at java.lang.Thread.run(Thread.java:745)
Caused by: 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值