cp1881304的博客

Spark的资源参数，基本都可以在 spark-submit 命令中作为参数设置如何合理的设置number-executor,executor-memory,executor-cores?问题假设--处理500G数据文件（未压缩）服务器配置：100节点 16core 48g要求：普通的统计运算（不是迭代计算/机器学习），不能简单的wordcount那应该怎样合理的分配资源？若是没有参数配置，则会默认 每个应用程序会有最大 max_core （配置文件配置）重点是executor数