Spark修炼之道（进阶篇）——Spark入门到精通：第十六节 Spark Streaming与Kafka

zhouzhihubeyond

于 2015-12-03 23:32:41 发布

阅读量1w

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Spark Spark修炼之道文章标签： spark

本文链接：https://blog.youkuaiyun.com/lovehuangjiaju/article/details/50166647

本文详细介绍了如何使用Spark Streaming与Kafka结合实现WordCount应用。包括启动Kafka集群，向Kafka发送消息，配置Spark Streaming参数，以及通过编写程序生成消息的producer。文章分为两部分，分别展示了不同方式产生输入数据后的计算结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

作者：周志湖

主要内容

Spark Streaming与Kafka版的WordCount示例（一）
Spark Streaming与Kafka版的WordCount示例（二）

1. Spark Streaming与Kafka版本的WordCount示例（一）

启动kafka集群

root@sparkslave02:/hadoopLearning/kafka_2.10-0.8.2.1# bin/kafka-server-start.sh config/server.properties 
root@sparkslave01:/hadoopLearning/kafka_2.10-0.8.2.1# bin/kafka-server-start.sh config/server.properties 
root@sparkmaster:/hadoopLearning/kafka_2.10-0.8.2.1# bin/kafka-server-start.sh config/server.properties

向kafka集群发送消息

root@sparkslave01:/hadoopLearning/kafka_2.10-0.8.2.1# bin/kafka-console-producer.sh --broker-list sparkslave01:9092 --sync --topic kafkatopictest

编写如下程序

import org.apache.kafka.

最低0.47元/天解锁文章

200万优质内容无限畅学

Spark修炼之道（进阶篇）——Spark入门到精通：第十六节 Spark Streaming与Kafka

主要内容

1. Spark Streaming与Kafka版本的WordCount示例 （一）

1. Spark Streaming与Kafka版本的WordCount示例（一）