Spark获取Kafka数据的两种方式（源码）

最新推荐文章于 2025-05-28 15:15:59 发布
原创 最新推荐文章于 2025-05-28 15:15:59 发布 · 6.6k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #kafka #源码 #大数据

本文介绍了SparkStreaming从Kafka获取数据的两种方式——DirectKafkaInputDStream（直接方式）和ReceiverInputDStream（接收器方式）。Direct方式仅在执行时拉取数据，而Receiver方式实时获取并存储。ReceiverInputDStream通过Excutor的多线程获取Kafka数据，而DirectKafkaInputDStream不存储数据，仅在需要时读取，利用KafkaRDD进行并行处理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

个人GitHub地址 ：https://github.com/LinMingQiang

在sparkstreaming接受数据的时候有两种方式

（1）DirectKafkaInputDStream 使用的是 Direct 方式获取数据；DirectKafkaInputDStream 继承自 InputDStream
（2）SocketInputDStream 使用的是 Receiver-based 方式获取数据；SocketInputDStream 继承自ReceiverInputDStream

这两种方式的区别：

Direct是去数据源拉取数据，只有在真正执行的时候才去获取数据
Receiver是把数据取来存储，是实时都在获取数据并储存

ReceiverInputDStream

1：将receive分给单个excutor，在excutor启动多线程（同kafka的partiton个数）来获取kafka的数据。
2：receive一直在获取kafka数据，并存在block上，等spark job去获取执行。然后更新offset。

DirectKafkaInputDStream

获取kafka数据

由于DirectKafkaInputDStream 不是继承自ReceiverInputDStream。所以不需要有Receiver，所以也就没有获取数据，不需要将数据存在内存block里面，也就没有block信息等等

最低0.47元/天 解锁文章

200万优质内容无限畅学
SparkStreaming读取kafka数据的两种方式（receive与direct）对比
wjt199866的博客
07-01 1298
陈诉 大家都知道在spark1.3版本后，kafkautil里面提供了两个创建dstream的方法，一个是老版本中有的createStream方法，还有一个是后面新加的createDirectStream方法。总之，通过新方法创建出来的dstream的rddpartition和kafka的topic的partition是一一对应的，通过低阶API直接从kafka的topic消费消息，，默认将偏移量保存在kafka内部。 对比 Receive Receive是使用的高级API，需要消费者连接Zo.
spark向kafka写入数据
qq_56870570的博客
06-15 2370
spark向kafka写入数据 前言 在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了spark streaming从kafka中不断拉取数据进行词频统计。本文首先对spark streaming嵌入kafka的方式进行归纳总结，之后简单阐述Spark streaming+kafka在舆情项目中的应用，最后将自己在Spark Streaming+kafka的实际优化中的一些经验进行归纳总结。（
Spark-Streaming获取kafka数据的两种方式：Receiver与Direct的方式
weixin_30770783的博客
05-02 756
简单理解为：Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据 Receiver 使用Kafka的高层次Consumer API来实现。receiver从Kafka中获取的数据都存储在Spark Executor的内存中，然后Spark Streaming启动的job会去处理那些数据。然而，在默认的配置下，这种方式可能会因...
使用 PySpark 从 Kafka 读取数据流并处理为表
最新发布
m0_73579990的博客
05-28 777
下面是一个完整的指南，展示如何通过 PySpark 从 Kafka 消费数据流，并将其处理为可以执行 SQL 查询的表。
sparkStreaming读取kafka的两种方式
热门推荐
weixin_39843430的博客
04-20 1万+
第一个是：Receiver-base 基于Receiver的kafka数据消费模式就是先把数据从kafka中读取出来然后缓存到内存然后再定时处理。这里要引入一个参数配置spark.streaming.receiver.writeAheadLog.enable 防止集群闪退偏移量没做好造成数据丢失。 Receiver-basede kafka读取模式是基于Kafka的高阶（high-...
Spark streaming 采用直接读kafka 方法获取数据
12-16 4500
package com.xing.stream import kafka.serializer.StringDecoder import org.apache.spark.SparkConf import org.apache.spark.streaming.kafka.KafkaUtils import org.apache.spark.streaming.{Seconds, Streamin
spark stream 3.0.0 scala版本读取kafka消息统计写入mysql
liaomingwu的专栏
02-18 1505
spark stream 3.0.0 scala版本读取kafka消息统计写入mysql
spark把kafka数据写到hive
Sivan
06-05 3946
写入分区表： 准备工作：先建好分区表 方法一：（使用dataframe） 写数据到数据所在的位置，因为hive分区的本质就是分文件夹，先用spark把数据写到文件夹位置，然后执行sql添加分区 1.写数据到文件夹 //df为DataFrame df.write.mode(SaveMode.Overwrite).format("parquet") .partitionBy("day" , "dev_platform" ).save(outputPath) 2.寻找刚刚数据新建的.
Spark+Kafka构建实时分析Dashboard案例
weixin_53420911的博客
05-17 3251
本案例利用Spark+Kafka实时分析男女生每秒购物人数，利用Structured Streaming实时处理用户购物日志，然后利用websocket将数据实时推送给浏览器，最后浏览器将接收到的数据实时展现。
spark与kafka
weixin_44473144的博客
10-27 728
spark spark的并行度 : 从hdfs读取文件时:(tfrecords这种特殊类型读取时一个文件一个分区) rdd的分区数 = max（hdfs的block块个数， sc.defaultMinPartitions） spark.default.parallelism = max（所有executor使用的core总数,2） sc.defaultMinPartitions = min(spark.default.parallelism,2) sc.def......
SparkStreaming读取kafka数据的两种方式
贾宝的博客
11-18 8740
Receive Receive是使用的高级API，需要消费者连接Zookeeper来读取数据。是由Zookeeper来维护偏移量，不用我们来手动维护，这样的话就比较简单一些，减少了代码量。但是天下没有免费的午餐，它也有很多缺点： 1.导致丢失数据。它是由Executor内的Receive来拉取数据并存放在内存中，再由Driver端提交的job来处理数据。这样的话，如果底层节点出现错误，就会发生数...
SparkStreaming Kafka 代码
04-29
使用 Zookeeper 管理 Kafka offset，利用 SparkStreaming 进行流处理。完整代码示例。
sparkStreaming读取Kafka的两种方式
u011250186的博客
09-26 599
SparkStreaming读取Kafka的两种方式
Spark读取Kafka两种方式的详细说明
weixin_44455388的博客
11-04 5736
Spark读取kafka的两种方式 spark streaming提供了两种获取方式，一种是同storm一样，实时读取缓存到内存中;另一种是定时批量读取。 这两种方式分别是： Receiver-base Direct Receiver-base： Spark官方最先提供了基于Receiver的Kafka数据消费模式。不过这种方式是先把数据从kafka中读取出来，然后缓存在内存，再定时处理。如果...
Spark Streaming从Kafka中读数据的两种方式
ThreeAspects的博客
04-23 1147
   Spark Streaming流式处理kafka中的数据，首先是把数据接收过来，然后转换为Spark Streaming中的数据结构DStream。接收数据的方式有两种：利用Receiver接收数据 与 Direct。 基于Receiver的方式 流程： 此方法使用Receiver接收数据。Receiver是使用Kafka高阶API接口实现的。与所有接收器一样，从Kafka通过Receiv...
Spark读取kafka（流式和批数据）
中长跑路上的crush
01-20 1458
【代码】Spark读取kafka（流式和批数据）
sparkStreaming读取kafka数据的2种方式
qq_32736999的博客
11-11 735
方式一  Receiver           使用Kafka的高层次Consumer API来实现。receiver从Kafka中获取的数据都存储在Spark Executor的内存中，然后Spark Streaming启动的job会去处理那些数据。然而，在默认的配置下，这种方式可能会因为底层的失败而丢失数据。如果要启用高可靠机制，让数据零丢失，就必须启用Spark Streaming的预写日志...
spark连接kafka的两种方式
weixin_43854618的博客
07-30 3019
Reciver方式 spark streaming通过Reciver方式获取kafka的数据实质是：在spark程序的Executor中开Reciver来接收来自kafka的数据，然后spark streaming会启动job去处理这些数据。 因为这些数据是存在内存中的，所以这种方式会容易丢失数据，如果要启用高可靠机制，让数据零丢失，就必须启用Spark Streaming的预写日志机制（Write Ahead Log，WAL）。该机制会同步地将接收到的Kafka数据写入分布式文件系统（比如HDFS）上..
SparkStreaming整合kafka——黑名单过滤
小白
08-20 914
import org.apache.kafka.clients.consumer.ConsumerConfig import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.streaming.kafka010.{ConsumerStrategies, KafkaUtils, LocationStrategies} import org.apache.spark.streaming.{Secon
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值