Hive之set参数大全-12

指定是否尝试在 Hive Metastore 中使用直接 SQL 查询执行 DDL（数据定义语言）操作

hive.metastore.try.direct.sql.ddl 是 Hive 的配置参数之一，用于指定是否尝试在 Hive Metastore 中使用直接 SQL 查询执行 DDL（数据定义语言）操作。

以下是一个示例配置：

SET hive.metastore.try.direct.sql.ddl=true; -- 尝试在 Hive Metastore 中使用直接 SQL 查询执行 DDL 操作

这个参数的默认值通常是 false，表示不尝试使用直接 SQL 查询执行 DDL 操作。如果将其设置为 true，则 Hive Metastore 在执行 DDL 操作时将尝试使用直接 SQL 查询，而不是使用 Hive Metastore 的默认存储实现。

使用直接 SQL 查询执行 DDL 操作可能会提高性能，特别是在处理大型表和复杂的元数据操作时。然而，它可能会依赖于底层数据库的类型和版本，并且可能会在不同的环境中产生不同的结果。

在实际使用中，您可能需要根据您的底层数据库类型和版本，以及性能需求，来决定是否启用这个参数。

指定 Hive Metastore 使用的事务存储实现

hive.metastore.txn.store.impl 是 Hive 的配置参数之一，用于指定 Hive Metastore 使用的事务存储实现。

以下是一个示例配置：

SET hive.metastore.txn.store.impl=org.apache.hadoop.hive.metastore.txn.TxnHandler; -- 设置 Hive Metastore 使用的事务存储实现

这个参数的值通常是一个实现了 Hive Metastore 事务存储接口的 Java 类。事务存储实现负责管理 Hive Metastore 中的事务相关信息，包括事务的提交、回滚等操作。

默认情况下，Hive Metastore 使用 org.apache.hadoop.hive.metastore.txn.TxnHandler 作为事务存储实现。这个类是 Hive Metastore 的默认实现，用于管理事务。

在实际使用中，您可能不需要手动配置这个参数，除非您有特定的需求或使用自定义的事务存储实现。

指定在 Hive 客户端连接 Metastore 时使用的 Metastore URI 的选择方法

hive.metastore.uri.selection 是 Hive 的配置参数之一，用于指定在 Hive 客户端连接 Metastore 时使用的 Metastore URI 的选择方法。

以下是一个示例配置：

SET hive.metastore.uri.selection=SEQUENTIAL; -- 设置 Metastore URI 选择方法为顺序选择

这个参数的值通常是一个枚举值，表示选择 Metastore URI 的方法。可能的选项包括：

• SEQUENTIAL: 顺序选择，按照配置中 URI 列表的顺序逐个尝试连接，直到成功或遍历完所有 URI。
• RANDOM: 随机选择，从配置中的 URI 列表中随机选择一个 URI 进行连接。
• MASTER_ONLY: 仅连接主 Metastore URI。

在多 Metastore 实例的环境中，配置正确的 Metastore URI 对于保证连接的可用性和负载均衡是重要的。选择适当的方法取决于您的环境和需求。

指定 Hive 客户端连接 Metastore 时要使用的 Metastore URIs

hive.metastore.uris 是 Hive 的配置参数之一，用于指定 Hive 客户端连接 Metastore 时要使用的 Metastore URIs。

以下是一个示例配置：

SET hive.metastore.uris=thrift://metastore1:9083,thrift://metastore2:9083; -- 设置 Hive 客户端连接的 Metastore URIs

这个参数的值通常是一个以逗号分隔的 Metastore URI 列表，用于指定 Hive 客户端尝试连接的 Metastore 实例。每个 URI 通常指定了 Metastore 服务的地址和端口。

在多 Metastore 实例的环境中，配置多个 URIs 可以用于实现高可用性和负载均衡。当一个 Metastore 实例不可用时，Hive 客户端可以尝试连接其他可用的 Metastore 实例。

确保配置的 URIs 正确、可达，并与实际环境的 Metastore 部署一致是非常重要的。在配置时，还可以结合使用 hive.metastore.uri.selection 参数来指定连接 URIs 的选择方法。

指定是否启用 Hive Metastore 与客户端之间的 SSL（安全套接层）连接

hive.metastore.use.SSL 是 Hive 的配置参数之一，用于指定是否启用 Hive Metastore 与客户端之间的 SSL（安全套接层）连接。

以下是一个示例配置：

SET hive.metastore.use.SSL=true; -- 启用 Hive Metastore 与客户端之间的 SSL 连接

这个参数的默认值通常是 false，表示不启用 SSL 连接。如果将其设置为 true，则 Hive Metastore 将尝试通过 SSL 进行与客户端的连接。

启用 SSL 连接可以增加通信的安全性，尤其是在通过网络传输敏感数据时。启用 SSL 通常涉及到配置证书和密钥等安全元素。

在实际使用中，如果有安全性要求，需要确保 Hive Metastore 和客户端都正确配置了 SSL 相关的参数。这包括配置 Hive Metastore 的 SSL 证书、密钥和其他相关属性，以确保双方能够成功建立安全连接。

指定 Hive 表数据存储的仓库目录

hive.metastore.warehouse.dir 是 Hive 的配置参数之一，用于指定 Hive 表数据存储的仓库目录。

以下是一个示例配置：

SET hive.metastore.warehouse.dir=/user/hive/warehouse; -- 设置 Hive 表数据的仓库目录

这个参数的值通常是一个 Hadoop 文件系统路径，表示 Hive 表的数据存储位置。Hive 表中的数据文件将存储在该目录下。

在实际使用中，通过配置 hive.metastore.warehouse.dir，您可以指定 Hive 表的默认数据存储位置。这个路径通常是 Hadoop 分布式文件系统（如HDFS）上的一个目录，确保 Hive Metastore 和 Hive 查询引擎都能够正确访问。

请注意，这个参数是一个动态参数，可以在运行时使用 SET 命令进行配置更改。在 Hive 中，使用 DESCRIBE FORMATTED <table_name> 命令可以查看表的详细信息，包括数据存储路径。

指定 Hive Metastore 工作管理器 (WM) 的默认池大小

hive.metastore.wm.default.pool.size 是 Hive 的配置参数之一，用于指定 Hive Metastore 工作管理器 (WM) 的默认池大小。

以下是一个示例配置：

SET hive.metastore.wm.default.pool.size=50; -- 设置 Hive Metastore 工作管理器的默认池大小为 50

这个参数的值通常是一个整数，表示 Hive Metastore 工作管理器默认的任务池大小。工作管理器负责管理和调度 Hive Metastore 的后台任务，如清理、统计等。

通过配置 hive.metastore.wm.default.pool.size，您可以调整默认的任务池大小，以适应实际的工作负载和系统性能。较大的池大小可能提高并发性能，但也可能增加系统资源的消耗。

在实际使用中，根据 Hive Metastore 的负载和性能需求，您可能需要调整这个参数的值。

指定是否允许在 Hive Metastore 中保存表的原始数据

hive.mm.allow.originals 是 Hive 的配置参数之一，用于指定是否允许在 Hive Metastore 中保存表的原始数据。

以下是一个示例配置：

SET hive.mm.allow.originals=true; -- 允许在 Hive Metastore 中保存表的原始数据

这个参数的默认值通常是 false，表示不允许在 Hive Metastore 中保存表的原始数据。如果将其设置为 true，则 Hive Metastore 将允许保存表的原始数据。

在 Hive 中，Metastore 中保存的数据主要包括表的元数据信息，而实际的数据文件通常存储在分布式文件系统（如 HDFS）上。启用 hive.mm.allow.originals 可能会导致 Metastore 存储更多的表数据，包括实际的原始数据，而不仅仅是元数据信息。

在实际使用中，启用或禁用这个参数通常取决于对元数据的管理需求和对存储资源的考虑。

指定是否在 S3 存储中避免使用 GlobStatus

hive.mm.avoid.s3.globstatus 是 Hive 的配置参数之一，用于指定是否在 S3 存储中避免使用 GlobStatus。

以下是一个示例配置：

SET hive.mm.avoid.s3.globstatus=true; -- 在 S3 存储中避免使用 GlobStatus

这个参数的默认值通常是 false，表示不避免使用 GlobStatus。如果将其设置为 true，则 Hive 将尝试避免在 S3 存储中使用 GlobStatus 操作。

在 Hadoop 中，GlobStatus 是一种用于匹配文件和目录的操作，它支持通配符模式。然而，S3 存储的特性和性能可能导致使用 GlobStatus 操作效率较低。通过设置 hive.mm.avoid.s3.globstatus，可以尝试使用其他更高效的方式来处理 S3 存储中的文件匹配。

在实际使用中，是否避免使用 GlobStatus 取决于对性能和存储资源的具体要求。如果在使用 Hive 时发现在 S3 存储中存在性能问题，可以考虑调整这个参数。

指定是否在运行 MSCK REPAIR TABLE 命令时验证路径

hive.msck.path.validation 是 Hive 的配置参数之一，用于指定是否在运行 MSCK REPAIR TABLE 命令时验证路径。

以下是一个示例配置：

SET hive.msck.path.validation=true; -- 在运行 MSCK REPAIR TABLE 时验证路径

这个参数的默认值通常是 true，表示在运行 MSCK REPAIR TABLE 命令时验证路径。MSCK REPAIR TABLE 命令用于修复表中的分区，使其与存储中的实际目录结构保持一致。

如果将 hive.msck.path.validation 设置为 false，则在运行 MSCK REPAIR TABLE 时将不会验证路径。这可能在某些情况下提高命令的执行速度，但也可能导致表的分区信息不准确。

在实际使用中，是否启用路径验证通常取决于对数据准确性和性能的权衡。如果数据的目录结构和表的分区信息可能不一致，并且希望通过 MSCK REPAIR TABLE 命令自动修复这种不一致性，可以保持默认值为 true。如果已经确保路径结构的准确性，可以考虑将其设置为 false 以提高性能。

指定在运行 MSCK REPAIR TABLE 命令时的最大重试次数

hive.msck.repair.batch.max.retries 是 Hive 的配置参数之一，用于指定在运行 MSCK REPAIR TABLE 命令时的最大重试次数。

以下是一个示例配置：

SET hive.msck.repair.batch.max.retries=3; -- 设置 MSCK REPAIR TABLE 命令的最大重试次数为 3

这个参数的默认值通常是一个较小的数值，表示在运行 MSCK REPAIR TABLE 命令时最多重试的次数。重试的次数限制可以帮助控制命令执行的时间，尤其是在处理大量分区时。

在实际使用中，MSCK REPAIR TABLE 命令通常用于修复表的分区信息，使其与存储中的实际目录结构保持一致。如果命令在执行过程中遇到了问题（例如，存储系统的连接问题），通过限制最大重试次数，可以防止命令无限制地执行下去。

指定在运行 MSCK REPAIR TABLE 命令时每个批次修复的分区数目

hive.msck.repair.batch.size 是 Hive 的配置参数之一，用于指定在运行 MSCK REPAIR TABLE 命令时每个批次修复的分区数目。

以下是一个示例配置：