Kafka，Spark, Yarn简介

最新推荐文章于 2025-06-07 10:32:42 发布

徐不依

最新推荐文章于 2025-06-07 10:32:42 发布

阅读量688

点赞数

CC 4.0 BY-SA版权

分类专栏：分布式文章标签： Spark Kafka Yarn hadoop

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/shulixu/article/details/89946292

本文介绍了Kafka、Spark和YARN的基础知识，Kafka是一个高吞吐、可扩展的分布式消息系统，常用于大数据实时处理；Spark提供了高效的存储管理和调度管理功能，适合大规模数据处理；YARN作为Hadoop的资源管理系统，负责集群资源的调度和管理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

昨天听了manager从Google Cloud开发者大会2019回来的报告，发现自己对大数据里面很多基础知识都不懂好惭愧，最近空空闲时间学习一下相关的概念，记录在这里。因为发现了这个博客总结得很好，大部分内容都是搬运来的。

参考 http://www.cnblogs.com/BYRans/

kafka:

Kafka简介 https://www.cnblogs.com/BYRans/p/6054930.html

RocketMQ与Kafka对比（18项差异）https://www.cnblogs.com/BYRans/p/6100653.html

Spark:

Spark存储管理（读书笔记）https://www.cnblogs.com/BYRans/p/5945667.html

Spark调度管理（读书笔记）https://www.cnblogs.com/BYRans/p/5943946.html

Spark基本工作流程及YARN cluster模式原理

最低0.47元/天解锁文章

200万优质内容无限畅学

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。