Streaming消费Kafka数据的两种方式

最新推荐文章于 2025-06-18 21:03:50 发布
转载 最新推荐文章于 2025-06-18 21:03:50 发布 · 1.2k 阅读 · 2
文章标签：

#kafka #streaming消费kafka数据的两种方式

本文介绍了Streaming消费Kafka数据的两种方式。Receiver模式使用Kafka高级API，自动维护偏移量，但效率低、易丢数据，可通过WAL本地存储保证数据不丢；Direct直连方式用Kafka底层API，需自己维护偏移量，即用即取即丢，效率高，能实现零数据丢失且不重复消费。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.receiver模式
Receiver接收固定时间间隔的数据，放在Spark executors内存中操作，使用kafka高级API，自动维护偏移量，达到固定时间才能进行处理，效率低下，并且容易丢失数据。
数据备份两次，保存到hdfs，每次使用须从hdfs读取，导致效率低下。
如果数据量特别大的情况下，容量不够就会造成数据丢失。receiver通过WAL，设置本地存储，会存放到本地，保证数据不丢失。
2.Direct直连方式
直连方式就是使用executor直接连接kakfa节点，自定义偏移量的使用大小及存储备份方法。使用Kafka底层API，需要自己维护偏移量，迭代计算，即用即取即丢，不会给内存造成太大压力，效率高。
从Kafka集群中读取数据，并且在Spark Streaming系统里面维护偏移量相关的信息，实现零数据丢失，保证不重复消费。
创建的DStream的RDD的partition做到了和Kafka中topic的partition一一对应

SparkStreaming消费Kafka的方式
JustinMars的博客
07-30 935
spark
【Spark实战系列】structuredstreaming 消费 kafka 数据实现简单的 wordcount
JasonLee实时计算
08-19 2874
最近也是有很多同学问我,StructuredStreaming结合kafka的使用,我简单的写了一个wordcount的demo,后续会有更加具体和详细的介绍,今天先来一个简单的demo吧.代码在本地可以直接跑通. 添加依赖: <dependency> <groupId>org.apache.spark</groupId> ...
spark structed streaming 两种消费kafka的方式
cangt的博客
12-18 1809
spark structed streaming 两种消费kafka的方式 kafka过来的原消息体 {"gamecode":"abcd","resultguid":"81_18148_184_-1699285363_4","startguid":"81_18148_184_1573391420_4","records":[{"cards":[40],"optype":0,"playtime":1...
streaming消费kafka的两种方式Receiver/Direct优缺点
ll谢安生的博客
02-23 1554
streaming消费kafka的两种方式的优缺点的总结 Receiver方式： Receiver从Kafka中获取数据都是存储在Spark Executor内存中的，然后Spark Streaming启动的job会去处理那些数据。 优点：操作简单方便，不用自己管理offset。 缺点：各方面都不如Direct方式。 Direct方式： 它会周期性的查询kafka，来获取每个topic + par...
kafka消费的模式及消息积压处理方案
最新发布
weixin_50055999的博客
06-18 1201
 Kafka消费积压(Consumer Lag)是指消费者处理消息的速度跟不上生产者发送消息的速度，导致消息在Kafka主题中堆积。1. 如果是Kafka消费能力不足，则可以考虑增加 topic 的 partition 的个数（提高kafka的并行度），同时提升消费者组的消费者数量，消费数 = 分区数 （二者缺一不可） 2. 若是下游数据处理不及时，则提高每批次拉取的数量。批次拉取数量过少（拉取数据/处理时间 < 生产速度），使处理的数据小于生产的数据，也会造成数据积压。
StrutsStreaming消费kafka的数据sink全过程
AyubLIbra的博客
06-09 850
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mav
bigdata_kafka与streaming
JIE_ling8的博客
11-17 3988
一丶Kafka应用 鉴于kafka在实际使用时，绝大多数应用场景均为Producer和Consumer的API配合使用，故在此只介绍这两种API操作方法，其它的Connector和Streams还有admin可以视自身情况自行学习。 1.java版 实现步骤 创建maven项目(done) 加入kafka依赖 producer push message实现 consumerpull message实现 效...
使用Structured Streaming消费Kafka数据
Mophistoliu的博客
06-08 2899
由于工作需要，在数据收集上牵扯到多个维度的爬虫数据。之前的流程是：爬虫工程师通过文件方式保存爬取的数据，交付给我们做数据清洗处理，再导入到数据库。为了降低交互过程中的时间成本，提高效率，我们开始引入流处理的方式。 之前的模式： 使用流处理之后的模式： 通过kafka-python包的生产者写入数据 首先，需要对爬虫脚本进行改造。原先的写入文件代码部分可以不需要改动，只要对爬取到的数据增加写入k...
SparkStreaming消费Kafka的两种方式
别人笑我太疯癫，我笑他人看不穿。
03-05 3408
一，receiver方式读取 这种方式使用Receiver来获取数据。Receiver是使用Kafka的高层次Consumer API来实现数据的消费。 receiver方式从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处理那些数据。 但是在默认的配置下，这种方式可能会因为底层的失败而丢失数据，因为消费时kafka的高级API是不会去维护偏移量的 要启用高可靠机制，让数据零丢失，启用Spark Streaming的预写日志机制（W
Spark Streaming读取Kafka数据的两种方式
theminer的博客
01-10 2376
Kafka在0.8和0.10之间引入了一种新的消费者API,因此,Spark Streaming与Kafka集成,有两种包可以选择:spark-streaming-kafka-0-8与spark-streaming-kafka-0-10。在使用时应注意以下几点: spark-streaming-kafka-0-8兼容Kafka 0.8.2.1及以后的版本, 从Spark 2.3.0开始，对Kafka 0.8支持已被标记为过时。 spark-streaming-kafka-0-10兼容Kaf.
Spark Streaming消费Kafka消息的两种方式
weixin_39400271的博客
10-10 1880
一、Receiver方式 Receiver方式，消息的offset存储在zookeeper。由Receiver维护，Receiver所扮演的角色是数据接收器。数据从Kafka传到Receiver中，Receiver将数据存储在内存或者磁盘，然后记录在容错日志文件系统中，同时将消息的offset更新到zookeeper中，元数据信息传给Driver。其使用的是Kafka高阶AP...
SparkStreaming读取kafka数据的两种方式
贾宝的博客
11-18 8740
Receive Receive是使用的高级API，需要消费者连接Zookeeper来读取数据。是由Zookeeper来维护偏移量，不用我们来手动维护，这样的话就比较简单一些，减少了代码量。但是天下没有免费的午餐，它也有很多缺点： 1.导致丢失数据。它是由Executor内的Receive来拉取数据并存放在内存中，再由Driver端提交的job来处理数据。这样的话，如果底层节点出现错误，就会发生数...
Structured Streaming 消费Kafka 解析与测试
zeng6325998的博客
07-08 1354
参考资料 http://spark.apache.org/docs/2.4.1/structured-streaming-kafka-integration.html 前言 现在Flink很火，但是自己还没有系统性的了解Structured Streaming ，今天将相关Structured Streaming消费kafka相关下了解下 准备工作 我这里写了个消费kafka的样例代码,可以正常的往kafka消费数据 Properties props = new Properties(); .
Kafka Streaming
getBinary的博客
05-28 914
Kafka StreamingKafka Streaming简介简单案例窗口 Kafka Streaming简介 官方文档：https://kafka.apache.org/20/documentation/streams/ Kafka Streaming是基于Kafka的轻量级实时处理API，可以从一个topic中接收数据，进行简单处理后，导入另外一个topic中 Kafka Streaming最简单的拓扑结构： 从一个topic中读取数据，经过处理操作后，写入到另一个topic中 读取数据后，可以获得
kafka中重要的知识点笔记
weixin_43637653的博客
11-13 858
Kafka-消费模型 High Level Consumer API 不需要自己管理offset 默认实现最少一次消息传递语义（At least once） comsumer数量 大于 partiton数量， 浪费。 comsumer数量 小于 partiton数量， 一个comsumer对应多个partiton 最好partiton数目是consumer数目的整数倍 Low Level Cons...
Kafka流式处理
qq_41515210的博客
06-11 372
在这个例子中，我们创建了一个 Kafka Streams 应用程序，它监听 “input-topic” 主题，然后将接收到的消息值转换为大写，并将转换后的消息发送到 “output-topic” 主题。这个简单的流处理示例展示了 Kafka Streams 的基本用法。Kafka 支持流式处理，并提供了 Kafka Streams 库来实现这一功能。Kafka Streams 是一个库，用于在 Kafka 上构建应用程序和微服务，它提供了一些高级功能，如状态管理、事件处理、windowing等。
Kafka Stream
子清的博客
12-16 1085
文章目录一、Kafka Stream背景1. Kafka Stream是什么2. 什么是流式计算3. 为什么要有Kafka Stream二、Kafka Stream架构1. Kafka Stream整体架构2. Processor Topology3. Kafka Stream并行模型4. KTable vs. KStream5. State store三、Kafka Stream如何解决流式系统中关键问题1. 时间2. 窗口3. Join4. 聚合与乱序处理5. 容错四、Kafka Stream应用示例五
kafka（五） 流式处理 kafka stream
weixin_30437847的博客
12-22 126
参考文档： http://www.infoq.com/cn/articles/kafka-analysis-part-7?utm_source=infoq&utm_campaign=user_page&utm_medium=link 转载于:https://www.cnblogs.com/amei0/p/8086642.html
kafka stream（kafka流处理）
TT15751097576的博客
10-22 691
kafka stream（kafka流处理） 问题： 1）列转化问题(列转化行) user_attendees friend_id //打开zookeeper [root@bigdata bin]# zkServer.sh start //启动kafka [root@bigdata bin]# ./kafka-server-start.sh ../config/server.proper...
SparkStreaming处理Kafka数据实战与优化
作者分享了SparkStreaming从Kafka接收数据的两种方法，以及在实际优化过程中的经验总结。" SparkStreaming是Apache Spark的一部分，它提供了一个用于实时数据处理的框架。在与Kafka集成时，SparkStreaming能够从...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值