hive on spark 常用配置

最新推荐文章于 2025-03-18 08:24:52 发布

转载最新推荐文章于 2025-03-18 08:24:52 发布 · 212 阅读

2 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/drjava/p/10837399.html

文章标签：

#大数据

本文详细介绍了Hive和Spark引擎的性能调优参数设置，包括动态分区、资源分配等关键配置，以及如何根据任务需求调整executor的核心数、内存和实例数，以实现资源的有效利用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

常用设置

reset;
set hive.execution.engine=spark;
set hive.map.aggr = false;
set hive.auto.convert.join = false;
set hive.merge.mapfiles=true;
set hive.merge.mapredfiles=true;
set hive.merge.size.per.task=100000000;
-- 动态分区参数
SET hive.exec.dynamic.partition=TRUE;
SET hive.exec.dynamic.partition.mode=nonstrict;
SET hive.exec.max.dynamic.partitions=100000;
SET hive.exec.max.dynamic.partitions.pernode=100000;
-- 资源参数,根据任务调整
-- spark引擎参数
set spark.executor.cores=2;
set spark.executor.memory=4G;
set spark.executor.instances=10;