SparkStreaming默认分区的个数

SaprkStreaming默认分区的个数和Kafka 主题 个数是保持一致的。
例如在我负责的反爬虫数据处理项目中，我们kafak的主体有七个分区，那么SparkStreaming从kafa接受到的分区数，默认就是10个
这种默认是高效的，本身kafak的分区机制就是为了实现数据的分布式存储和消费。每个kafak的分区存储着时间段的日志数据，那么对接到SparkStreaming就可以同事并行的处理数据，加快整个数据处理过程。
所以一般不建议在生产环境中通过repartition算子增加SAPRKsTREAMING的分区，因为这个算子会触发shauffle操作。大大增加了数据处理的耗时，得不偿失。
接下来就会问Saprk的一些基础知识了，什么吗shuffle，提交流程，Stage阶段等等。