Hive之set参数大全-18

最新推荐文章于 2024-01-30 19:22:16 发布
原创 最新推荐文章于 2024-01-30 19:22:16 发布 · 1.6k 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #数据仓库

指定在执行 Spark 上的动态分区裁剪时，用于评估分区数据大小的最大限制

在 Hive 中，hive.spark.dynamic.partition.pruning.max.data.size 是一个配置参数，用于指定在执行 Spark 上的动态分区裁剪时，用于评估分区数据大小的最大限制。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制动态分区裁剪的优化，限制用于评估分区数据大小的最大数据量。

  2. 默认值： 默认情况下，hive.spark.dynamic.partition.pruning.max.data.size 的值通常是根据 Hive 的版本和配置而变化的。在某些版本中可能有默认值，而在另一些版本中可能需要手动设置。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.spark.dynamic.partition.pruning.max.data.size=1000000;

  4. 影响： 设置最大数据大小限制是为了防止在分区数据量很大的情况下，动态分区裁剪操作的性能开销过大。如果分区的数据大小超过该限制，Hive 将不再尝试评估分区数据大小并进行裁剪优化。

  5. 注意事项：

    • 调整此参数时，需要根据分区数据的实际大小和系统性能需求进行合理的设置。
    • 过大的最大数据大小限制可能导致性能下降，而过小的限制可能导致放弃分区裁剪的优化机会。
    • 在分析查询性能时，需要考虑分区数据的分布和查询模式。

示例：

-- 设置 Hive on Spark 中动态分区裁剪评估分区数据大小的最大限制为 1,000,000 字节
SET hive.spark.dynamic.partition.pruning.max.data.size=1000000;

请注意，具体的配置和效果可能会根据 Hive 和 Spark 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定在执行 Spark 任务时是否显示任务的内部进度信息

在 Hive 中，hive.spark.exec.inplace.progress 是一个配置参数，用于指定在执行 Spark 任务时是否显示任务的内部进度信息。以下是关于该参数的一些解释：

  1. 用途： 该参数用于控制是否在 Hive on Spark 执行过程中显示任务的内部进度信息。

  2. 默认值： 默认情况下，hive.spark.exec.inplace.progress 的值通常是根据 Hive 的版本和配置而变化的。在某些版本中可能有默认值，而在另一些版本中可能需要手动设置。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.spark.exec.inplace.progress=true;

  4. 影响： 如果设置为 true，在执行 Spark 任务时，Hive on Spark 将显示任务的内部进度信息，这对于了解任务执行情况和调试可能的性能问题很有帮助。如果设置为 false，则不显示内部进度信息。

  5. 注意事项：

    • 在大规模数据处理时，显示内部进度信息可能对性能产生一些开销，因此在生产环境中可能更倾向于关闭此选项。
    • 对于调试和性能分析，启用内部进度信息可能是很有用的。
    • 此参数的设置可能会影响日志的输出，因此在生产和调试之间可能需要调整。

示例：

-- 在执行 Spark 任务时显示 Hive on Spark 的内部进度信息
SET hive.spark.exec.inplace.progress=true;

请注意，具体的配置和效果可能会根据 Hive 和 Spark 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

是否在执行 Spark 任务时输出用户级别的执行计划（explain）

在 Hive 中，hive.spark.explain.user 是一个配置参数，用于指定是否在执行 Spark 任务时输出用户级别的执行计划（explain）。以下是关于该参数的一些解释：

  1. 用途： 该参数用于控制是否在 Hive on Spark 执行过程中输出用户级别的执行计划，以便用户能够查看查询的详细执行计划。

  2. 默认值： 默认情况下，hive.spark.explain.user 的值通常是根据 Hive 的版本和配置而变化的。在某些版本中可能有默认值，而在另一些版本中可能需要手动设置。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.spark.explain.user=true;

  4. 影响： 如果设置为 true，在执行 Spark 任务时，Hive on Spark 将输出用户级别的执行计划，该计划提供了查询的详细信息，包括数据读取、操作和连接等步骤。如果设置为 false，则不输出用户级别的执行计划。

  5. 注意事项：

    • 输出用户级别的执行计划对于理解查询的执行步骤和性能分析是很有帮助的。
    • 在生产环境中，由于输出可能包含敏感信息，可能更倾向于关闭此选项。
    • 启用该参数可能会产生大量输出，因此在需要时才建议启用。

示例：

-- 在执行 Spark 任务时输出用户级别的执行计划
SET hive.spark.explain.user=true;

请注意，具体的配置和效果可能会根据 Hive 和 Spark 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定每个 Spark 作业（job）执行的最大任务数

在 Hive 中，hive.spark.job.max.tasks 是一个配置参数，用于指定每个 Spark 作业（job）执行的最大任务数。以下是关于该参数的一些解释：

  1. 用途： 该参数用于控制每个 Spark 作业中可以并行执行的最大任务数，这有助于在大规模数据处理时调整并行度。

  2. 默认值： 默认情况下，hive.spark.job.max.tasks 的值通常是根据 Hive 的版本和配置而变化的。在某些版本中可能有默认值，而在另一些版本中可能需要手动设置。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.spark.job.max.tasks=1000;

  4. 影响： 调整每个 Spark 作业的最大任务数可以影响作业的并行度。较大的值可能会提高作业的并行执行性能，但也可能导致资源竞争和系统压力。较小的值可能减少并行执行的开销，但也可能导致作业执行速度较慢。

  5. 注意事项：

    • 调整该参数时，需要根据集群的硬件配置和性能需求进行合理的设置。
    • 过大的最大任务数可能导致资源竞争和性能下降，过小的值可能无法充分利用集群资源。
    • 在进行性能调整时，建议进行实际的性能测试以确定最佳的设置。

示例：

-- 设置每个 Spark 作业中可以并行执行的最大任务数为 1000,-1为自动分配
SET hive.spark.job.max.tasks=1000;

请注意，具体的配置和效果可能会根据 Hive 和 Spark 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定监视 Spark 作业（job）执行的超时时间

在 Hive 中，hive.spark.job.monitor.timeout 是一个配置参数，用于指定监视 Spark 作业（job）执行的超时时间。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制监视 Spark 作业执行的最大时间。如果作业执行时间超过指定的超时时间，Hive 将终止该作业。

  2. 默认值： 默认情况下，hive.spark.job.monitor.timeout 的值通常是根据 Hive 的版本和配置而变化的。在某些版本中可能有默认值，而在另一些版本中可能需要手动设置。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.spark.job.monitor.timeout=3600;

  4. 影响： 该参数的设置允许控制 Spark 作业执行的最大时间，以防止长时间运行的作业对集群资源产生不良影响。

  5. 注意事项：

    • 超时时间的设置应基于作业的性质和数据量进行合理评估。
    • 过长的超时时间可能导致长时间运行的作业占用资源，而过短的时间可能导致正常作业被误报为超时。
    • 当调整此参数时，需要进行实际的性能测试以确保超时时间设置得当。

示例：

-- 设置监视 Spark 作业执行的超时时间为 3600 秒（1 小时）
SET hive.spark.job.monitor.timeout=3600;

请注意，具体的配置和效果可能会根据 Hive 和 Spark 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定在 Spark 任务中是否启用优化以减少数据序列化和反序列化（SerDe）的开销

在 Hive 中，hive.spark.optimize.shuffle.serde 是一个配置参数，用于指定在 Spark 任务中是否启用优化以减少数据序列化和反序列化（SerDe）的开销。以下是关于该参数的一些解释：

  1. 用途： 该参数用于控制是否在 Spark 任务中启用优化，以减少由于数据传输而涉及的序列化和反序列化操作的性能开销。

  2. 默认值： 默认情况下，hive.spark.optimize.shuffle.serde 的值通常是根据 Hive 的版本和配置而变化的。在某些版本中可能有默认值，而在另一些版本中可能需要手动设置。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.spark.optimize.shuffle.serde=true;

  4. 影响： 如果设置为 true，则在 Spark 任务的执行中尝试优化以减少数据传输中的 SerDe 操作。如果设置为 false，则不启用此优化。

  5. 注意事项：

    • 启用此优化可能对某些场景的性能产生积极影响，但并非所有场景都会受益。
    • 在大规模数据处理时，可以进行性能测试以确定是否应该启用此优化。
    • 此参数的设置可能会因 Hive 和 Spark 的版本以及集群配置而有所不同，因此在调整之前请查看相应文档。

示例：

-- 启用 Hive on Spark 中优化以减少数据传输中的 SerDe 操作
SET hive.spark.optimize.shuffle.serde=true
最低0.47元/天 解锁文章
HIVE Statistics(Hive 统计信息) 的说明和查询优化详解
houzhizhen的专栏
03-09 1万+
本文从普通用户的角度讲述 Hive 统计信息，源代码角度请参考。 统计信息的分类 有两种统计信息，第1种为表和分区的统计信息，第2种为分区的统计信息。 表和分区的统计信息 表的统计信息 包括如下内容： numFiles – 文件的数量 numRows – 记录数量 totalSize – 总文件大小 rawDataSize – 原始数据量（因为可以压缩后存储到文件里） 对于分区表，还包括以下内容： numPartitions 1824 显示表的统计信息的语句。 des
Hive之set参数大全-10
m0_49620121的博客
01-21 1461
是Apache Hive中的一个配置属性，用于指定LLAP（Low Latency Analytical Processing）引擎任务调度器中重新启用节点的最大超时时间。将替换为您希望设置的最大超时时间，通常是一个正整数，表示毫秒数。如果您想在Hive的配置文件（通常是）中进行永久设置，可以添加以下配置：</</</将上述XML片段添加到Hive配置文件中，并重新启动Hive服务以使更改生效。此属性用于控制LLAP引擎任务调度器中重新启用节点的最大超时时间。
Hive 添加分区(partition)后count 为0
三丰的专栏
06-07 2361
Hive 添加分区(partition)后count 为0
hive set
oaimm的专栏
03-12 1073
You need to use the special hiveconf for variable substitution. e.g. hive> set CURRENT_DATE='2012-09-16'; hive> select * from foo where day >= '${hiveconf:CURRENT_DATE}' similarly, you could pass
Hive SET指令
Utopia
03-16 2982
SET指令 指令名 描述 hive.session.id 会话的ID，一般为用户名和用户名 mapreduce.job.queuename 指定提交到的hadoop队列 mapred.job.priority 设置队列优先级 hive.mapred.mode 设置mapreduce模式，如果设置为strict，则不允许笛卡尔积。某人为nostrict hive.exec.dynamic.partition.mode 动
Hive之set参数大全-4
m0_49620121的博客
01-04 1368
FETCH。
Hive之set参数大全-2
m0_49620121的博客
01-04 1311
是 Hive 中的一个配置属性，用于指定是否启用表达式缓存的评估。表达式缓存是一项优化技术，它可以在执行查询时缓存表达式的评估结果，以减少计算开销。在 Hive 配置中，可以使用以下方式设置或者在 Hive 的配置文件（如 hive-site.xml）中添加：</</</上述配置中，的值为true，表示启用表达式缓存的评估。当启用时，Hive 将尝试缓存表达式的评估结果，以便在相同的表达式再次出现时能够直接使用缓存的结果，而不必重新计算。这有助于提高查询的性能，尤其是对于包含重复表达式的查询。
Hive之set参数大全-9
m0_49620121的博客
01-17 1241
是Apache Hive中的一个配置属性，用于指定LLAP（Low Latency Analytical Processing）引擎是否跳过对用户定义函数（UDF）进行编译检查。-- 设置LLAP引擎是否跳过对UDF进行编译检查将替换为您希望设置的值，通常是布尔值，例如，true或false。如果您想在Hive的配置文件（通常是</</</将上述XML片段添加到Hive配置文件中，并重新启动Hive服务以使更改生效。该属性用于控制LLAP引擎是否在执行时跳过对用户定义函数进行编译检查。
Hive之set参数大全-19
m0_49620121的博客
01-28 1496
在 Hive 中，是一个配置参数，用于指定用于计算列的唯一值数（NDV，即基数）的算法。该参数用于控制在收集表或列的统计信息时，Hive 使用的算法来估计列的唯一值数。默认情况下，的值通常是hll，表示使用 HyperLogLog 算法进行唯一值数的估计。你可以通过 Hive 的配置文件或者在 Hive 命令行中使用SET命令来配置这个参数。hllnosamplingauto使用不同的算法可能会影响唯一值数的估计精度和计算性能。HyperLogLog 算法通常用于大型数据集，以更高效地估计唯一值数。
Hive 中的各种常用set设置
DataShare
11-24 2955
hive 中的常用set语句设置
Hive篇.set命令使用
lwf006164的博客
07-21 6348
Hive命令行下执行set命令【仅当前会话有效】: //设置显示当前使用的数据库 set hive.cli.print.current.db=true; //设置显示表名 set hive.cli.print.header=true; Hive脚本中配置set命令【当前机器有效】: //进入编辑模式 vi ~/.hiverc //将上面的两行命令添加到该文件中 //设置显示当前使用的数据库 ...
Hive常见set的配置设置
weixin_46433065的博客
09-25 3207
Hive常见set的配置设置 设置reduce数量（默认值-1） set mapred.reduce.tasks=100; set mapreduce.job.reduces=3; 修改表为内部表 set tblproperties('EXTERNAL'='FALSE'); 开启分桶表（默认false） set hive.enforce.bucketing=true; 开启Hive中间传输数据压缩功能 set hive.exec.cmpress.intermediate=true; 开启mapreduce
hive中常用的set设置
weixin_47952712的博客
08-13 3463
–设置引擎为spark：若内存允许，优先考虑使用spark set hive.execution.engine=spark; –打开动态分区后，允许所有分区都是动态分区模式 set hive.exec.dynamic.partition.mode = nonstrict; – 是否启动动态分区 set hive.exec.dynamic.partition=true; –小文件合并参数 –设置map端输出进行合并，默认为true –文件数目小，容易在文件存储端造成瓶颈，给HDFS带来压力，影响处理效率。对此
hive set 参数设置
Mr_ShangHaohao的博客
03-01 1158
查询 【行转列功能】 -- 打印列名 set hive.cli.print.header=true; -- 开启行转列功能, 前提必须开启打印列名功能 set hive.cli.print.row.to.vertical=true; -- 设置每行显示的列数 set hive.cli.print.row.to.vertical.num=1; -- 显示当前数据库 set hive.cli.print.current.db=true; 动态分区 -- 开启动态分区 set hive.exec.dynamic
Hive优化（整理版）
Swordfall的博客
07-04 461
1. 概述 1.1 hive的特征： 可以通过SQL轻松访问数据的工具，从而实现数据仓库任务，如提取/转换/加载(ETL)，报告和数据分析； 它可以使已经存储的数据结构化； 可以直接访问存储在Apache HDFS或其他数据存储系统(如Apache HBase)中的文件； Hive除了支持MapReduce计算引擎，还支持Spark和Tez这两种分布式计算引擎； 它提供类似sql的查询...
Hive之set参数大全-22(完)
m0_49620121的博客
01-30 2195
在 Hive 中，是一个配置参数，用于指定是否启用矢量化处理复杂数据类型。该参数用于控制是否启用 Hive 的矢量化执行引擎对复杂数据类型（例如结构体、数组、映射等）进行矢量化处理。矢量化执行是一种通过同时处理多个数据元素来提高查询性能的技术。默认情况下，的值通常是未设置的，由 Hive 使用其默认的配置。你可以通过 Hive 的配置文件或者在 Hive 命令行中使用SET命令来配置这个参数。该参数通常是一个布尔值，表示是否启用矢量化处理复杂数据类型。true表示启用，false表示禁用。
hive的set优化_HIVE SQL优化
weixin_35804761的博客
01-14 267
光环大数据的大数据培训班，只聘请精英讲师，确保教学的整体质量与教学水准，讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需，通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。一、节制hive义务中的map数:1. 平日环境下，功课会经由过程input的目次发生一个或许多个map义务。主要的决议因素有： input的文件总个数，inpu...
hive-set设置总结
yuzaijiang2012的博客
05-14 4261
直接set命令可以看到所有变量值。set单个参数，可以看见这个参数的值。 常用hiveconf Hive相关的配置属性总结set hive.cli.print.current.db=true;在cli hive提示符后显示当前数据库。set hive.cli.print.header=true;显示表头。select时会显示对应字段。set hive.mapred.mode=strict;防止笛卡儿积的执行;如果对分区表查询，且没有在where中对分区字段进行限制，报错FAILED: Semant...
Hive之set参数大全-15
m0_49620121的博客
01-26 1947
在 Hive 中，是一个参数，用于配置是否允许 Tez 会话使用自定义队列。该参数影响在 HiveServer2 中执行的 Tez 会话是否可以选择使用自定义的队列。以下是设置其中，是布尔值，用于启用或禁用 Tez 会话使用自定义队列。请注意，这样的设置只对当前 HiveServer2 会话有效，当 HiveServer2 重新启动时，设置将被重置为默认值。如果您希望永久性地更改配置参数，可以在 Hive 的配置文件中进行修改，并需要重新启动 HiveServer2 服务以使更改生效。
table.exec.hive.fallback-mapred-reader: true这是什么参数
最新发布
11-01
我们正在讨论的是Flink与Hive集成时的一个参数：`table.exec.hive.fallback-mapred-reader` 根据引用内容，特别是引用[3]中提到的issue和解决方案，这个参数与Flink读取Hive表时的行为有关。 参数含义解析： 1. ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

OnePandas

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值