文章详细说明了如何在DB2任务中设置source.autoSplit为false，以及调整Spark的executor和driver的Java选项，包括Db2.jcc.charsetDecoderEncoder参数。此外，还涉及到了Spark资源的分配，如executor内存和核心数，以及Hive的最大动态分区配置。
DB2任务
source.autoSplit
false
ndi.spark.spark-conf.spark.executor.extraJavaOptions
-Ddb2.jcc.charsetDecoderEncoder=3
ndi.spark.spark-conf.spark.driver.extraJavaOptions
-Ddb2.jcc.charsetDecoderEncoder=3
spark 加资源
ndi.spark.spark-argument.driver-memory
ndi.spark.spark-argument.executor-memory
ndi.spark.spark-argument.executor-cores
ndi.spark.spark-conf.spark.hadoop.hive.exec.max.dynamic.partitions
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
