spark-streaming 和kafka集成采坑总结，jar包问题

最新推荐文章于 2025-06-03 16:23:33 发布

原创

最新推荐文章于 2025-06-03 16:23:33 发布 · 6k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#saprk-kafka

本文总结了在使用Spark-Streaming与Kafka版本1.6.0和0.8.2.2集成进行WordCount时遇到的问题。在开发阶段，仅需spark-assembly和spark-streaming-kafka的jar包。但在集群运行时，发现缺少kafka、metrics-core和zkclient的jar包，解决方法是添加对应版本的jar到打包中。最后，通过创建Runnable jar并提交到Spark集群，程序成功运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用spark-streaming 和kafka集成进行wordcount，spark和kafka版本分别为：spark-1.6.0和kafka_2.10-0.8.2.2，开发时只需要spark-assembly-1.6.0-hadoop2.6.0.jar包和spark-streaming-kafka_2.10-1.6.0.jar包就够了，但是当将最终代码打成jar包提交spark集群运行时，会报各种各样的错误，经过反复试验，原来是缺少了以下jar包：

kafka_2.10-0.8.2.2.jar，metrics-core-2.2.0.jar，zkclient-0.3.jar；这几个jar包在kafka安装包的lib下都有。

最终将代码打成Runnable jar包，提交集群运行正常。

sparkstreaming wordcount 代码如下：

此处要牢记一定要import kafka.serializer.StringDecoder;否则编译通过，但运行会报错

package streaming;

import java.util.Arrays;
import java.util.HashMap;
import java.util.HashSet;
import java.util.Iterator;
import java.util.List;
import java.util.Map;

import