
spark学习指南
齐梦星空
专注
展开
-
spark的excutor调优思路
spark的excutor调优主要考虑两种资源:内存和cpu核心数优先保证程序可运行的情况下增加excutor数量在spark中,一个excutor是一个进程,是内存资源分配的基本单位。理论上excutor的数量可以非常大,但是yarn有资源管理的功能,如果excutor占用的资源超过了集群拥有的资源,多余的进程会被挂起。所以第一原则是单个excutor分配的资源要满足程序运行要求的情况下尽量...原创 2020-03-30 18:26:12 · 507 阅读 · 0 评论 -
Zookeeper的ZAB协议
转载转载 2020-03-11 22:44:33 · 92 阅读 · 0 评论 -
spark会把数据全部载入内存吗?
链接转载 2020-03-06 09:17:39 · 381 阅读 · 0 评论 -
mapPartitions为什么不生效
mapPartitions是个懒加载程序,只有使用其返回值时才会执行。原创 2019-03-04 15:05:50 · 660 阅读 · 0 评论