spark 02 操作算子

于 2017-03-06 00:13:00 发布
阅读量69 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据 python
原文链接：https://my.oschina.net/captainliu/blog/852334
本文探讨了Spark和MapReduce两种大数据处理框架在资源管理上的不同策略。Spark采用预先申请资源的方式，而MapReduce则是在运行过程中动态申请资源。通过对这两种方式的比较，有助于理解它们在实际应用中的优缺点。

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

1、算子

231019_oG94_2828556.png

2、宽依赖、窄依赖

234317_oldu_2828556.png

 

3、源码

233134_McsT_2828556.png

233216_tHlt_2828556.png

 

225540_xzZ0_2828556.png

 

225630_lnOx_2828556.png

225753_bL2x_2828556.png

225704_DyV9_2828556.png

 

225814_UlnL_2828556.png

 

225943_WVaH_2828556.png

**************************

231403_wBJe_2828556.png

 

231443_719d_2828556.png

 

231455_PqdI_2828556.png231512_7Gmt_2828556.png

 

231658_MhRI_2828556.png

 

spark 是先申请资源，再跑程序

mapreduce是边跑边申请资源

 

 

转载于:https://my.oschina.net/captainliu/blog/852334

评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值