Spark报错:java.lang.ClassNotFoundException: org.apache.kafka.log4jappender.KafkaLog4jAppender
发生问题的原需求
基于华为云spark,yarn流处理任务收集driver和executor日志,输出到kafka
spark-1.5.1
kafka-1.1.0
前期架构选型
1.flume采集到kafka
2.利用KafkaLog4jAppender
选了第二种,因为1需要先采集到文件在发kafka,考虑会有IO,于是使用log4j原生api直接发送至kafka
实现过程
在启动脚本–jars中添加kafka-log4j-appender-1.1.0.jar,并在客户端对应位置加入该jar
exec /
原创
2021-08-12 15:26:54 ·
973 阅读 ·
0 评论