Spark Streaming官方文档翻译Spark Streaming +Kafka 集成指南

最新推荐文章于 2021-02-22 02:08:05 发布

小小小书屋

最新推荐文章于 2021-02-22 02:08:05 发布

阅读量458

点赞数

分类专栏： Hadoop+Spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/qq_39315954/article/details/103810469

版权

本文翻译自Spark Streaming官方文档，重点介绍了Spark Streaming与Kafka的集成，包括直接流的创建、区位策略、消费者策略、偏移量管理等，强调了0.10.0及以上版本Kafka的API差异和注意事项，以及不同场景下偏移量存储的选择和部署建议。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark Streaming +Kafka 集成指南

Apache Kafka 是作为发布-订阅消息传递的重新思考，它是分布式、分区、复制提交日志服务的。在使用Spark开始集成之前，请仔细阅读Kafka文档。

Kafka项目在0.8和0.10版本之间引入了一个新的消费者API，因此有两个单独的相应的Spark流= Streaming 应用包。请为您的代理(中间件)和所需功能选择正确的软件包；请注意，0.8集成与以后的0.9和0.10代理兼容，但0.10集成与早期的代理不兼容。
注意:从Spark 2.3.0开始就不支持Kafka 0.8了。