kylin cube kafka streaming LZ4Exception异常

最新推荐文章于 2024-01-11 00:29:48 发布

原创

最新推荐文章于 2024-01-11 00:29:48 发布 · 961 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #kylin #hadoop

在构建Kylin Cube并使用Kafka Streaming消费topic时，遇到LZ4Exception异常。问题源于Kafka消息使用lz4压缩算法，而Hadoop NodeManager的mapreduce lib目录缺少相应依赖。解决方案是将Kafka的lz4.jar上传到所有NodeManager节点，确保一致性。

在kylin cube中使用kafka streaming消费topic,消息的生成加密方式如下采用lz4算法,运行中发生异常中断cube。

kafka 消息加密方式
configMap.put(StreamsConfig.producerPrefix(ProducerConfig.COMPRESSION_TYPE_CONFIG), “lz4”);

Error: java.lang.ClassNotFoundException: net.jpountz.lz4.LZ4Exception at 
java.net.URLClassLoader.findClass(URLClassLoader.java:381) at  
java.lang.ClassLoader.loadClass(ClassLoader.java:424) at 
sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331) at 
java.lang.ClassLoader.loadClass(ClassLoader.java:357) at java.lang.Class.forName0(Native Method) at 
java.lang.Class.forName(Class.java:264) at 
org.apache.kafka.common.record.MemoryRecordsBuilder$4.get(MemoryRecordsBuilder.java: