Spark Streaming Receiver学习

最新推荐文章于 2023-12-08 00:02:26 发布
最新推荐文章于 2023-12-08 00:02:26 发布
阅读量408 收藏
点赞数 1
分类专栏： Spark 文章标签： SparkStreaming Kafka
本文深入解析了Spark Streaming中Receiver的工作原理，包括如何监听端口、处理数据流和与BlockManager交互的过程。同时对比了Receiver-based与KafkaReceiver-based在数据处理和数据丢失预防上的差异，特别强调了KafkaReceiver-based能够提供Exactly-Once语义的优势。

Receiver工作机制

以org.apache.spark.streaming.dstream.SocketReceiver为例。

一个数据流有一个receiver，在executor上启动。

Receiver监听端口，拉取数据，调用ReceiverSupervisor和BlockGenerator将数据加入BlockGenerator的缓存。在加入缓存前，调用限流器(RateLimiter)，以阻塞当前线程，直到限流完成。这里使用GuavaRateLimiter。Receiver和ReceiverSupervisor是包含关系；SocketReceiver不支持WriteAheadLog.

BlockGenerator的守护线程定时(spark.streaming.blockInterval) 将缓存数据加入data block并发送到blockManager，并将blockId，数据条数等通过RPC告知Driver。

批次时间到，按照Data Locality原则优先在含有数据的executor上执行开始数据处理。

 

Kafka Receiver-based VS DirectStream

Receiver-based 默认情况下可能丢数据，需要配置WriteAheadLog，保证At-Least-Once语义。由于Receiver commitOffset和数据处理逻辑不同步，不能100%保证Eactly-Once语义。

DirectStream保证kafka消费Exactly-Once语义。通过在KafkaRDD里拉取处理数据和自己管理offset。

Spark Streaming 自定义 Receiver
SmartSi
01-04 1061
在大数据时代，实时数据处理变得愈发重要。Apache Spark 作为一个强大的大数据处理引擎，其 Spark Streaming 模块为实时数据流处理提供了高效的解决方案。虽然 Spark Streaming 提供了多种内置的 Receiver（如 Kafka、Flume、Socket 等），但在实际应用中，我们可能需要处理特定的数据源或自定义的数据接收逻辑，这就需要我们自定义 Receiver。本文将详细介绍如何在 Spark Streaming 中定义和使用自定义 Receiver，包括其定义步骤、关
SparkStreaming的最佳实践案例分享
AI天才研究院
06-15 2694
在当今数据密集型应用的时代，实时数据处理和分析已经成为许多企业和组织的核心需求。Apache Spark是一个开源的大数据处理框架,它提供了一个统一的环境来进行批处理、交互式查询和流式计算。Spark Streaming作为Spark生态系统中的一个重要组成部分,专门用于实时数据流的处理,可以从多种数据源(如Kafka、Flume、Kinesis等)获取实时数据流,并对其进行高吞吐量、容错的流式计算。
spark.streaming.receiver
qq_41634872的博客
05-12 174
1.SocketReciever实现，一条一条读取，让Blockgenerator来收集。 2. RawNetworkreceiver实现，数据尽量读取，直接作为block存入。 三个最重要的类 Reciver:在onstart中接收数据，然后调用自己的store方法存数据。该方法是依赖 ReceiverSupervisor进行的，他里面对不同格式的数据采取不同的处理。 ReceiverSupervisor：处理数据的类，它可以依赖BlockGenerator来处理，也可
Spark Streaming源码解读之Receiver在Driver详解
热门推荐
snail_gesture的博客
05-20 1万+
一：Receiver启动的方式设想 1. Spark Streaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driver端，由此每个Batch Durations就可以根据汇报的数据生成不同的Job。 2. Receiver属于Spark Streaming应用程序启动阶段，那么我们找Receiver在哪里启动就应该去找Spark Streaming的启动。
Spark Streaming自定义Receiver
u013939918的博客
07-25 456
一 背景 Spark社区为Spark Streaming提供了很多数据源接口，但是有些比较偏的数据源没有覆盖，由于公司技术栈选择，用了阿里云的MQ服务ONS，要做实时需求，要自己编写Receiver 二 技术实现 1.官网的例子已经比较详细，但是进入实践还需要慢慢调试，官方文档。 2.实现代码，由三部分组成，receiver，inputstream，util 3.receiver代码 import java.io.Serializable import java.util.Properti
Spark Streaming 的 Receiver和 Direct模式
u011500419的专栏
04-15 868
1 两种模式的原理和区别 Receiver模式 1. Receiver模式下的运行架构 1)InputDStream: 从流数据源接收的输入数据。 2)Receiver：负责接收数据流，并将数据写到本地。 3)Streaming Context：代表SparkStreaming，负责Streaming层面的任务调度，生成jobs发送到Spark engine处理。 4)Spark ...
Spark Streaming-Receiver启动和数据接收
ZH519080的博客
12-05 717
养成一个记笔记的习惯！！！ 小案例： def fromsocket(ssc: StreamingContext): Unit ={ /**使用updateStateByKey前必须要设置checkpoint*/ ssc.checkpoint("hdfs://zhumaster:8020/data/checkpoint") /** 如使用socket网络嵌套字作为输入模式，使用命令...
metrics-spark-receiver:用于metrics-spark-reporter的Apache Spark Streaming接收器
07-05
指标火花接收器 用于metrics-spark-reporter的... <artifactId>metrics-spark-receiver <version>1.1 然后，您可以使用JavaStreamingContext.receiverStream()方法和创建的自定义接收器来读取指标流： ssc.receive
spark Streaming和structed streaming分析
04-23
Receiver在Spark Streaming中是一个重要的组件，它负责从数据源接收数据。例如，使用Kafka作为输入源时，Receiver将从Kafka主题中读取数据并将其存储在Executor内存中。 在容错方面，Spark Streaming支持两种容错...
Spark学习笔记Spark Streaming的使用
08-25
Spark Streaming 使用指南 Spark Streaming 是一个基于 Spark Core 之上的实时计算框架，...同时，Spark Streaming 也提供了多种方式来接收数据，例如 Receiver 和 Direct 方式，可以根据不同的需求选择合适的方式。
Spark Streaming中读取数据的两种方式：基于Receiver的方法，基于Direct方法
蚂蚁
08-11 587
基于Receiver的方法——基于Receiver的方法 此方法使用Receiver接收数据。 Receiver是使用Kafka高级消费者API实现的。 与所有接收器一样，从Kafka通过Receiver接收的数据存储在Spark执行器中，然后由Spark Streaming启动的作业处理数据。 但是，在默认配置下，此方法可能会在失败时丢失数据（请参阅接收器可靠性。为确保零数据丢失，您必须在Spa...
[spark streaming]Receiver数据接收全过程详解
无
08-29 3085
一、Receiver启动过程回顾 如图，从ReceiverTracker的start方法开始，调用launchReceivers()方法，给endpoint发送消息，endpoint.send(StartAllReceivers(receivers))，endpoint就是ReceiverTrackerEndpoint，ReceiverTrackerEndpoint调用startReceiv...
Spark Streaming的Receiver的那些事儿！
KLordy的博客
11-18 684
  这篇文章主要讲解Spark Streaming启动后，在StreamingContext中启动的ReceiverTracker以及这位大哥管理的Receiver的生成以及发布详细过程。我们先介绍Spark Streaming启动ReceiverTracker的过程，然后再提出一些问题，围绕这些问题对Receiver进行进一步的探索。   Spark Streaming启动时通过JobSched...
大数据系列-SPARK-STREAMING流数据receiver
hudongdong2020的博客
03-20 954
大数据系列-SPARK-STREAMING流数据receiver package com.test import org.apache.spark.SparkConf import org.apache.spark.storage.StorageLevel import org.apache.spark.streaming.receiver.Receiver import org.apache.spark.streaming.{Seconds, StreamingContext} import sca
Spark Streaming中的Receiver方式和直连方式
while false
10-31 2238
Spark Streaming从Kafka中接受数据的时候有两种方式，一种是使用Receiver的老方法，另一种是使用直连的方法 1.Receiver方式 Receiver是使用Kafka高级消费者API实现的，与所有接收器一样，从Kafka通过Receiver接收的数据存储在Spark执行器中，然后由Spark Streaming启动的作业处理数据 但是，在默认配置下，此方法可能会在失败时...
Spark定制班第9课：Spark Streaming源码解读之Receiver在Driver的精妙实现全生命周期彻底研究和思考
andyshar的博客
05-22 1133
本期内容： 1. Receiver启动的方式设想 2. Receiver启动源码彻底分析 1. Receiver启动的方式设想 　　Spark Streaming是个运行在Spark Core上的应用程序。这个应用程序既要接收数据，还要处理数据，这些都是在分布式的集群中进行的，应该启动多个Job，让它们分工并能协调。Receiver的工作是接收数据，应该是用Spark Co
Spark Streaming
weixin_43655644的博客
07-03 200
什么是Spark Streaming Spark Streaming 是Spark Core的扩展，可以实现实时数据流的可扩展，高吞吐，容错流处理。数据来源有很多（如Kafka、Flume、Kinesis、TCP套接字）中获取，并且可以使用以高级函数（map、reduce、join和window）表示的复杂算法进行处理。最后，处理后的数据可以推送到文件系统、数据库和实施dashboards。 S...
SparkStreaming消费kafka（Receiver与Direct）
zx421311541的博客
12-26 552
Receiver receiver是使用kafka的高级consumer API来实现的，Receiver每个一段batch时间去kafka获取这段时间里最新的相应topic数据，从kafka哪里获取来的数据都存在Spark Excutor的内存中，然后Spark Streaming启动job去处理这些数据。 其中，谁来消费分区不是由SparkStreaming来决定的，而是由高阶消费者决定的，它...
（一）sparkstreaming的两种数据接收方式
u011250186的博客
12-08 200
（一）sparkstreaming的两种数据接收方式
spark streaming 自定义 Receiver
最新发布
01-02
### 创建和使用自定义 Receiver 的过程 为了在 Spark Streaming 应用程序中创建并使用自定义接收器，需遵循特定的方法来构建 `CustomReceiver` 类，并将其集成到流处理框架内。 #### 定义自定义接收器类 首先，需要继承 `Receiver` 抽象类，并重写其方法以实现具体的功能逻辑。下面是一个简单的例子： ```scala import org.apache.spark.streaming.receiver.Receiver import java.net.{ServerSocket, Socket} class CustomReceiver(host: String, port: Int) extends Receiver[String](StorageLevel.MEMORY_AND_DISK_2) { def onStart() { // 启动线程执行 receive 方法 new Thread("Socket Receiver") { override def run() { receive() } }.start() } def onStop() { // 停止接收数据的操作 } /** Create a socket connection and receive data until receiver is stopped */ private def receive() { var socket: Socket = null try { // 连接到服务器套接字 val serverSocket = new ServerSocket(port) LogInfo(s"Connecting to $host:$port") socket = serverSocket.accept() LogInfo(s"Connected to $host:$port") // 将收到的数据发送给存储引擎 val input = new BufferedReader(new InputStreamReader(socket.getInputStream(), StandardCharsets.UTF_8)) var line: String = "" while (!isStopped && (line = input.readLine()) != null) { store(line) } LogInfo("Stopped receiving") onStop() } catch { case e: Throwable => restart(s"Error connecting or reading from socket", e) } finally { if (socket != null) socket.close() } } } ``` 这段代码展示了如何建立一个基于 TCP 协议的自定义接收器[^1]。 #### 配置 StreamingContext 和启动应用 一旦有了自定义接收器之后，在主函数里配置好 `StreamingContext` 并调用 `receiverStream()` 来注册这个新的接收器实例即可开始工作流程。 ```scala val conf = new SparkConf().setMaster("local[*]").setAppName("CustomReceiverApp") // 设置日志级别为 ERROR 减少控制台输出干扰 conf.set("spark.logConf","false").set("spark.driver.bindAddress","localhost") val ssc = new StreamingContext(conf, Seconds(1)) // 使用自定义接收器获取实时数据流 val customReceiverStream = ssc.receiverStream(new CustomReceiver("localhost", 9999)) // 对接收到的数据做进一步操作比如单词计数等... customReceiverStream.flatMap(_.split(" ")) .map((_, 1)) .reduceByKey(_ + _) .print() ssc.start() // 开始接受数据 ssc.awaitTermination() // 等待终止信号 ``` 此部分实现了通过 `StreamingContext` 初始化以及利用之前定义好的 `CustomReceiver` 获取来自指定主机与端口的数据流，并进行了基本的文字分割和平铺映射转换成键值对形式以便后续聚合计算。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值