Hive 视图索引动态分区装载数据

最新推荐文章于 2025-05-21 19:04:01 发布

原创最新推荐文章于 2025-05-21 19:04:01 发布 · 2.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hive #索引

Hive 专栏收录该内容

9 篇文章

订阅专栏

本文介绍了Hive SQL的基本操作，包括视图的创建与删除、索引的创建与管理、数据加载与导出等关键步骤。同时提供了动态分区的支持配置及使用方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

视图

创建视图
create view v_emp AS select t.name, t.age, t.addr from t_emp;

删除视图
drop view if exists v_emp;

索引

创建索引
create index t_emp_index
    on table t_emp (name)
    as ‘org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler’
    with deferred rebuild in table t_index;

显示索引

重建索引
alter index t_emp_index on t_emp rebuild;

删除索引
drop index if exists t_emp_index on t_emp ;

普通装载数据（分区需指定）

从文件中装载数据

hive>LOAD DATA [LOCAL] INPATH ‘…’ [OVERWRITE] INTO TABLE t_employee [PARTITION (…)];
通过查询表装载数据

hive>INSERT OVERWRITE TABLE t_emp PARTITION (…) SELECT * FROM xxx WHERE xxx
批量插入

hive>FROM t_emp
            INSERT OVERWRITE TABLE t_test PARTITION (…) SELECT … WHERE …
            INSERT OVERWRITE TABLE t_test PARTITION (…) SELECT … WHERE …
            INSERT OVERWRITE TABLE t_test PARTITION (…) SELECT … WHERE …

动态分区装载数据（分区不需指定）

若没有开启动态分区只支持以下写法

hive>INSERT OVERWRITE TABLE t_test PARTITION (country=’china’, city=’chengDu’)
              SELECT name, age, addr
               FROM t_emp
             WHERE t_emp.country = ‘china’
                 AND t_emp.city = ‘chengDu’;
开启动态分区支持

hive>set hive.exec.dynamic.partition=true; // 开启动态分区
hive>set hive.exec.dynamic.partition.mode=nostrict; // 设置为非严格模式
hive>set hive.exec.max.dynamic.partitions.pernode=1000; // 最大动态可分区数
hive> insert overwrite table t_dynamic partition(country, city) select name, age, addr, country, city from t_emp;

数据导出

通过hdfs方式导出

到本地
hive> dfs -copyToLocal /user/hive_remote/warehouse/t_dynamic /home/tt;
或
hive> dfs -get /user/hive_remote/warehouse/t_dynamic /home/t_dynamic;

到hdfs
hive> dfs -cp /user/hive_remote/warehouse/t_dynamic /tmp/t_dynamic;
使用DIRECTORY

hive> insert overwrite [local] directory ‘/home/tt2’ select * from t_dynamic;
加local到本地/默认到hdfs