hive 常见set字段1

原创

已于 2024-01-24 21:22:13 修改 · 377 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hive

于 2021-09-13 13:57:11 首次发布

本文介绍了Hive的配置优化技巧，包括设置MapReduce作业队列、内存参数、分区策略等，以提升查询效率。同时，展示了如何使用HQL选择除特定字段外的所有字段，并显示表头。这些优化措施对于大数据处理场景下的性能提升至关重要。

use adst;
set mapreduce.job.queuename=${hiveconf:mp_queue};
set mapreduce.reduce.java.opts=-=-Xmx10000m;
set mapred.reduce.tasks=5;
set mapred.min.split.size.per.node=3200000;
set mapred.min.split.size.per.rack=3200000;
set mapred.max.split.size=25600000;
set hive.auto.convert.join=true;
set hive.groupby.skewindata=true;
set hive.mapjoin.smalltable.filesize=25000000;
set hive.map.aggr=true;
set hive.exec.orc.default.stripe.size=268435456;
set hive.exec.max.dynamic.partitions=100000;
set hive.exec.max.dynamic.partitions.pernode=100000;
set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=10;
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.reducers.bytes.per.reducer=107374182;
set orc.compress.size=4096;

1. Hive 中select除了某些字段之外的剩余所有字段

-- 选择tableName表中除了name、id、pwd之外的所有字段

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

MusicDancing

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【大数据Hive】hive 多字段分隔符使用详解

congge_study的博客

03-03

8451

hive 多字段分隔符使用详解

HIVE 增加修改删除字段

最新发布

2501_93931247的博客

11-02

295

ORC（Optimized Row Columnar）是Hive的高效列式存储格式，通过合理配置压缩和存储参数可显著提升性能。）： $$ \text{推荐值} = \text{HDFS块大小} \times 2 $$输出包含压缩比、stripe统计等信息，用于验证优化效果。收集统计信息，优化器可自动选择最优访问路径。分析查询计划，确保谓词下推生效。

hive文件存储格式orc和parquet详解_orc文件

2401_84182073的博客

04-11

3244

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

Hive语句前的常见设置

ydq1206的博客

12-04

665

1.hive.cli.print.header=true 是否显示查询结果的列名，默认为不显示 2.set hive.exec.parallel=true; 参数控制在同一个sql中的不同的job是否可以同时运行,默认为false. 3.hive.map.aggr=true 决定是否可以在 Map 端进行聚合操作，从而减轻清洗阶段数据传输和Reduce阶段的执行时间

hive.exec.orc.default.stripe.size相关

xingyuelhb的博客

12-26

1182

1)因此在适当增大hive.exec.orc.default.stripe.size, "256*1024*1024"的值可提高效率，就像适当提高blocksize也可以加快效率原理类似.也就是对应的default设置值：hive.exec.orc.default.stripe.size, "256*1024*1024 " stripe的默认大小。适当加大hive.exec.orc.default.stripe.size配置，以及在orc表比较大的情况下使用BI策略可有效提高效率，

hive表新增字段或者修改字段

04-20

1. 如果表是外部表，需要将其转换为内部表，以便Hive能够控制其元数据。这可以通过以下命令完成： ```sql alter table 数据库名.表名 set tblproperties('EXTERNAL' = 'FALSE'); ``` 2. 使用 `ALTER TABLE` 命令...

Hive新增字段相关问题

weixin_42937781的博客

07-08

1371

Hive新增字段导致旧分区新增数据新增字段展示异常。

hive数据库字段的操作

airui001的博客

03-04

2424

HIVE数据库字段的添加，修改，删除新接触了hive数据库，发现hive语句和其他SQL语句有些许不同，在此记录一下 1.字段新增新增字段语句的字段名称和类型有所不同。假如添加两个字段column_1字段类型为string，column_2字段类型为int，hive中的语法为： alter table table_name add columns (column_1 string,column_2 int) 2.修改字段 alter table table_name change column__1

Hive数据类型的讲解----入门到入土（七）

weixin_42947670的博客

07-29

414

第七章 Hive数据类型的讲解在hive中，数据类型分为基础数据类型和复杂数据类型两大类型 7.1 数据类型分类类型描述字面量示例基本类型 BOOLEAN true/false TRUE TINYINT 1字节的有符号整数 -128~127 1Y SMALLINT 2个字节的有符号整数，-32768~32767 1S INT 4个字节的带符号整数 1 BIGINT 8字节带符号整数 1L FLOAT 4字节单精度浮点数 1.0 DOUBLE 8

数据分析利器之hive优化十大原则

weixin_34308389的博客

02-17

466

hive之于数据民工，就如同锄头之于农民伯伯。hive用的好，才能从地里（数据库）里挖出更多的数据来。用过hive的朋友，我想或多或少都有类似的经历：一天下来，没跑几次hive，就到下班时间了。 hive在极大数据或者数据不平衡等情况下，表现往往一般，因此也出现了presto、spark-sql等替代品。今天不谈其它，就来说说关于hive，个人的一点心得。一. 表连接优化 ...

Hive（十）Hive性能调优总结

dengshuabi6933的博客

08-12

3783

一、Fetch抓取 1、理论分析 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conv...

使用 tez 执行引擎时执行 hive 启动两个 application 的解决办法

houzhizhen的专栏

11-25

2807

在 hive-site.xml, 配置执行引擎为 tez。 <property> <name>hive.execution.engine</name> <value>tez</value> <description> Expects one of [mr, tez, spark]. Chooses execution engine. Options are: mr (Map reduce,

Hive-ORC文件存储格式

weixin_30279671的博客

05-31

847

　　ORC文件格式是从Hive-0.11版本开始的。关于ORC文件格式的官方文档，以及基于官方文档的翻译内容这里就不赘述了，有兴趣的可以仔细研究了解一下。本文接下来根据论文《Major Technical Advancements in Apache Hive》中的内容进行深入的研究。一、ORC文件格式　　ORC的全称是(Optimized Record Colum...

Hive 常用参数整理

BITDDD小栈

11-17

4993

一.引言上周遇到了大表join大表的情况，调试了一天终于调通，期间发现对hive设置参数十分不熟悉才会导致调优花了一天时间，特此整理常用参数供以后参考。二.场景 1.Hive 动态分区 set hive.exec.dynamic.partition.mode=nonstrict; 动态分区的好处是可以根据表字段自动将数据加入到指定分区，相比于写死固定分区更加便捷。以下实例基于your_table是单分区表。原始分区示例: hive -e " insert overwrite tab.

Hive调优参数总结

cuichunchi的博客

02-17

1787

MR程序优化参数 1、客户端显示以及job任务名和优先级 ##打印表头 set hive.cli.print.header=true; set hive.cli.print.row.to.vertical=true; set hive.cli.print.row.to.vertical.num=1; ##显示当前数据库 set hive.cli.print.current.db=true; ##job任务名 set mapreduce.job.name=p_${v_date}; ##job优先级 se.

Hive表变更字段名

10-23

<think>首先，用户的问题是：“我想查找Hive表变更字段名的方法请问Hive表变更字段名的方法”。这直接询问Hive中如何修改表字段名的方法。我需要参考提供的引用内容，因为它们包含相关的信息： - 引用[1]：讨论了Hive修改表字段名，提供了步骤和代码示例。 - 引用[2]：提到Hive表更新字段信息，强调了修改历史分区的注意事项，使用CASCADE选项。 - 引用[3]：关于Hive表新增字段或修改字段位置的语法。 - 引用[4]：给出了修改字段数据类型或名字的具体SQL语法，包括如果是外部表时的处理步骤。关键点是用户特别询问“变更字段名”的方法，所以我应该专注于修改字段名的部分。从引用[4]中，直接提供了语法：`ALTER TABLE table_name CHANGE COLUMN old_column_name new_column_name column_type [COMMENT 'comment'] [CASCADE|RESTRICT]` 引用[1]和[2]也提到了类似的内容，但[4]更详细。系统指令要求： - 所有行内数学表达式使用$...$格式：但这里没有数学表达式，所以可能不需要。 - 独立公式使用$$...$$：同样，没有公式。 - LaTeX语法正确：这里主要是SQL代码，不是LaTeX数学。 - 使用中文回答：整个回答用中文。 - 生成相关问题：在回答末尾添加相关问题。 - 引用的段落末尾添加引用标识：例如[^1]。回答结构：用户上次的问题是关于Hive表变更字段名，所以我需要提供清晰、逐步的指导。步骤基于引用内容： 1. 确认表类型：如果是外部表，需要先将其转换为内部表（参考引用[4]）。 2. 执行ALTER TABLE语句：使用CHANGE COLUMN子句修改字段名。 3. 可选：添加CASCADE选项以更新历史分区（如果表有分区）。 4. 如果是外部表，转换回外部表。代码示例从引用[4]中可以提取。完整回答大纲： - 介绍：简要说明修改字段名的步骤。 - 详细步骤： a. 如果是外部表，执行`ALTER TABLE table_name SET TBLPROPERTIES('EXTERNAL'='FALSE');` b. 修改字段名：`ALTER TABLE table_name CHANGE COLUMN old_name new_name data_type [COMMENT 'comment'] [CASCADE|RESTRICT];` c. 如果是外部表，执行`ALTER TABLE table_name SET TBLPROPERTIES('EXTERNAL'='TRUE');` - 注意事项：如使用CASCADE更新历史分区（参考引用[2]）。 - 代码示例：提供一个简单的例子。最后，生成相关问题。引用标识：在相关句子结束时添加，如[^4]。生成相关问题： 1. Hive中如何新增字段？ 2. 修改Hive表字段时如何避免数据丢失？ 3. Hive分区表修改字段有什么特殊注意事项？确保回答真实可靠。 </think>### Hive表变更字段名的方法在Hive中，修改表字段名（即重命名列）是一个常见的操作，需要用到`ALTER TABLE`语句结合`CHANGE COLUMN`子句。以下是基于Hive官方文档和最佳实践的逐步指导（注意：操作前请备份数据以避免意外丢失）[^1][^2][^3][^4]。 #### 核心步骤 1. **检查表类型（外部表处理）**： - 如果你的表是外部表（External Table），需要先将其转换为内部表（Managed Table），以避免元数据与数据位置冲突[^4]。 ```sql ALTER TABLE database_name.table_name SET TBLPROPERTIES('EXTERNAL'='FALSE'); ``` 2. **执行字段名变更**： - 使用`ALTER TABLE ... CHANGE COLUMN`语句修改字段名。语法格式如下： ```sql ALTER TABLE database_name.table_name CHANGE COLUMN old_column_name new_column_name column_type [COMMENT 'column_comment'] [CASCADE | RESTRICT]; ``` - `old_column_name`: 现有字段名。 - `new_column_name`: 新字段名。 - `column_type`: 字段的数据类型（如果类型不变，保持原类型）。 - `COMMENT`: 可选项，用于添加或更新字段注释。 - `CASCADE | RESTRICT`: 可选参数： - `CASCADE`: 如果表有分区，此选项会递归更新所有历史分区的元数据（推荐用于分区表）[^2]。 - `RESTRICT`: 仅修改表结构，不影响历史分区（默认值，可能导致新老分区元数据不一致）。 3. **恢复表类型（如果是外部表）**： - 操作完成后，如果表原为外部表，需将其转换回外部表以保持存储位置独立性[^4]。 ```sql ALTER TABLE database_name.table_name SET TBLPROPERTIES('EXTERNAL'='TRUE'); ``` #### 完整代码示例假设你有一个表`employee`在数据库`test_db`中，需要将字段`emp_id`重命名为`employee_id`，数据类型保持为`INT`，并更新所有历史分区： ```sql -- 步骤1: 检查并转换表类型（如果是外部表） ALTER TABLE test_db.employee SET TBLPROPERTIES('EXTERNAL'='FALSE'); -- 步骤2: 变更字段名，使用CASCADE更新分区 ALTER TABLE test_db.employee CHANGE COLUMN emp_id employee_id INT COMMENT 'Unique employee identifier' CASCADE; -- 步骤3: 恢复表类型（如果是外部表） ALTER TABLE test_db.employee SET TBLPROPERTIES('EXTERNAL'='TRUE'); ``` #### 注意事项 - **分区表处理**：对于分区表，强烈推荐使用`CASCADE`选项，否则新分区使用新字段名，而旧分区保留原字段名，可能导致查询错误或数据不一致[^2]。 - **数据类型一致性**：变更字段名时，数据类型必须指定（即使不变）。如果字段类型错误，操作会失败。 - **元数据刷新**：操作后，建议在Hive CLI中运行`REFRESH table_name`或在Hue等工具中刷新元数据缓存。 - **兼容性**：此语法适用于Hive 0.13及以上版本；旧版本可能需要额外操作如重建表。 - **备份**：在实际操作前，请先备份表数据（例如使用`CREATE TABLE ... AS SELECT`），尤其是生产环境[^4]。通过以上步骤，你可以安全地修改Hive表的字段名。如需更多细节，参考Hive官方文档或相关教程[^1][^3]。