我们的SparkStreaming Receiver是独占一个cpu core的，所以我们集群中如果只有一个cpu core的话，那么就不能正常的运行了，因为没有额外的cpu core来计算这些算子
所以sparkStreaming 最少有一个cpu core来进行数据接收，一个cpu core来进行数据处理（RDD处理）
sparkStreaming Recever注意事项
本文介绍了SparkStreaming在运行过程中对于CPU资源的基本需求：至少需要一个CPU核心用于数据接收，另一个CPU核心用于数据处理（如RDD操作）。如果集群中只有一个CPU核心，则无法正常运行SparkStreaming任务。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
