[一起学Hive]之五-Hive的视图和分区

最新推荐文章于 2023-12-21 14:23:50 发布
最新推荐文章于 2023-12-21 14:23:50 发布
阅读量606 收藏
点赞数
分类专栏： hive

lxw的大数据田地 Hadoop/Hive/HBase/Spark/Java

 微信搜索bigdata029 | 邀请体验：数阅–数据管理、OLAP分析与可视化平台 | 招聘：360西安研发中心招聘大数据人才 | 赞助作者：赞助作者

[一起学Hive]之五-Hive的视图和分区

 Hive  lxw1234@qq.com  3年前 (2015-06-15)  23089℃  2评论

同关系型数据库一样，Hive中也支持视图(View)和分区(Partition)，但与关系型数据库中的有所区别，本文简单介绍Hive中视图和分区的示例。

在真实业务场景下，视图的应用比较少，分区使用的非常多，因此建议对分区这块多花的时间来了解。

 

四、Hive的视图和分区

4.1 Hive中的视图

和关系型数据库一样，Hive中也提供了视图的功能，注意Hive中视图的特性，和关系型数据库中的稍有区别：

  • 只有逻辑视图，没有物化视图；
  • 视图只能查询，不能Load/Insert/Update/Delete数据；
  • 视图在创建时候，只是保存了一份元数据，当查询视图的时候，才开始执行视图对应的那些子查询；

4.1.1 创建视图

CREATE VIEW [IF NOT EXISTS] [db_name.]view_name [(column_name [COMMENT column_comment], …) ]

[COMMENT view_comment]

[TBLPROPERTIES (property_name = property_value, …)]

AS SELECT …;

 

例如：

 

CREATE VIEW IF NOT EXISTS v_lxw1234 (url COMMENT ‘url’)

COMMENT ‘view lxw1234′

AS SELECT url FROM lxw1234

WHERE url LIKE ‘http://%’

LIMIT 100;

 

4.1.2 删除视图

DROP VIEW IF EXISTS v_lxw1234;

 

4.1.3 修改视图

ALTER VIEW v_lxw1234 AS

SELECT url FROM lxw1234 limit 500;

 

 

更多关于Hive视图的介绍，请参考官方文档：

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create/Drop/AlterView

 

4.2 Hive中的表分区

Hive中的表分区比较简单，就是将同一组数据放到同一个HDFS目录下，当查询中过滤条件指定了某一个分区值时候，只将该分区对应的目录作为Input，从而减少MapReduce的输入数据，提高查询效率。

 

4.2.1 创建分区表

CREATE EXTERNAL TABLE t_lxw1234 (

id INT,

ip STRING COMMENT ‘访问者IP’,

avg_view_depth DECIMAL(5,1),

bounce_rate DECIMAL(6,5)

) COMMENT ‘lxw的大数据田地-lxw1234.com’

PARTITIONED BY (month STRING, day STRING)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ‘,’

STORED AS textfile;

 

  • 在创建表时候，使用PARTITIONED BY关键字来指定该表为分区表，后面括号中指定了分区的字段和类型，分区字段可以有多个，在HDFS中对应多级目录。
  • 比如，上面的表t_lxw1234分区month=’2015-06’,day=’2015-06-15’对应HDFS上的路径为：/user/hive/warehouse/default.db/t_lxw1234/month=2015-06/day=2015-06-15/，当查询中指定了month=’2015-06’ AND day=’2015-06-15’,MapReduce直接从该目录中读取数据，如果只指定了month=’2015-06’，那么MapReduce将/month=2015-06/下所有的子目录都作为Input。

4.2.2 添加分区

  • 使用INSERT添加分区：

往分区中追加数据：

INSERT INTO TABLE t_lxw1234 PARTITION (month = ‘2015-06′,day = ‘2015-06-15′)

SELECT * FROM dual;

覆盖分区数据：

INSERT overwrite TABLE t_lxw1234 PARTITION (month = ‘2015-06′,day = ‘2015-06-15′)

SELECT * FROM dual;

  • 使用ALTER TABLE添加分区：

ALTER TABLE t_lxw1234 ADD PARTITION (month = ‘2015-06′,day = ‘2015-06-15′) location ‘hdfs://namenode/tmp/lxw1234/month=2015-06/day=2015-06-15/';

4.2.3 查看分区对应的HDFS路径

  • 使用命令 show partitions t_lxw1234; 查看表的所有分区：

hive> show partitions t_lxw1234;

OK

month=2015-01/day=2015-01-25

month=2015-01/day=2015-01-31

month=2015-02/day=2015-02-15

month=2015-02/day=2015-02-28

month=2015-03/day=2015-03-15

month=2015-03/day=2015-03-31

  • 使用desc formatted t_lxw1234 partition (month = ‘2015-01’ , day = ‘2015-01-25′);

查看该分区的详细信息，包括该分区在HDFS上的路径：

Location:               hdfs://namenode/user/hive/warehouse/default.db/t_lxw1234/month=2015-01/day=2015-01-25/

4.2.4 删除分区

可以使用 ALTER TABLE t_lxw1234 DROP PARTITION (month = ‘2015-01’, day = ‘2015-01-25’);

删除一个分区；

同内部表和外部表，如果该分区表为外部表，则分区对应的HDFS目录数据不会被删除。

 

更多关于分区的介绍，可参考官方文档：

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-AddPartitions

 

Hive相关文章（持续更新）：

一起学Hive系列

—-Hive概述，Hive是什么

—-Hive函数大全-完整版

—-Hive中的数据库(Database)和表(Table)

—-Hive的安装配置

Hive分析函数系列

Hive索引

hive优化之——控制hive任务中的map数和reduce数

如果觉得本博客对您有帮助，请 赞助作者 。

转载请注明：lxw的大数据田地 » [一起学Hive]之五-Hive的视图和分区

喜欢 (15)

赏

分享 (5)

一起学Hive

 Spark1.3.1安装配置运行[一起学Hive]之六-Hive的动态分区 

发表我的评论

 提交评论 表情

 (2)个小伙伴在吐槽

  1. 我觉得你写的文档特别详细，非常好

    dinghuizhan2017-09-22 14:57 回复

  2. 我觉得你好棒，竟然自己做了个站，专门写技术博客

    小博2018-05-06 23:11 回复

hive中的分区表与视图
Gegenden的博客
03-28 4357
hive视图
Hive中的视图与分区
tinysakura的博客
07-12 5038
转载自 lxw1234@qq.com的博客 同关系型数据库一样，Hive中也支持视图(View)和分区(Partition)，但与关系型数据库中的有所区别，本文简单介绍Hive中视图和分区的示例。 在真实业务场景下，视图的应用比较少，分区使用的非常多，因此建议对分区这块多花的时间来了解。 Hive中的视图 和关系型数据库一样，Hive中也提供了视图的功能，注意Hive中视图的特性，和关系型数据库中...
hive分区、分桶、视图、侧视图
qzc_root的博客
04-28 820
文章目录hive分区创建分区表（静态分区）添加和删除分区动态分区hive分桶抽样视图视图概述应用场景视图的操作侧视图 hive分区 在大数据中，最常用的一种思想是分治，分区表实际就是对应hdfs文件系统上的独立的文件夹，该文件夹下是该分区所有数据文件 hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过where子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。 创建分区表（静态分区） 通过PARTITIONED BY定义分区 create table d
hive-4（分区、分桶、视图）
getBinary的博客
03-30 453
hive-4分区分桶分区和分桶的区别视图侧视图 分区 分区的目的：通过表分区能够在特定的区域检索数据，减少扫描成本，在一定程度上提高查询效率 单值分区： # 创建分区表 create table tab_name(col type,...) partition (p_col_name type,...); # 添加分区 alter table tab_name add partition (p_col_name type,...); # 查看分区 show partitions tab_name; #
apache-hive-2.1.0-bin.tar.zip
05-04
对于复杂的查询，可以使用Hive的分桶、分区、物化视图等功能来优化性能。 总的来说，Apache Hive 2.1.0 是一个强大的大数据处理工具，适合于对海量数据进行离线分析和报表生成。它的出现极大地简化了大数据处理的...
apache-hive-2.3.0-bin.tar.gz
01-05
5. **Hive Metastore**：存储关于Hive对象（如表、分区等）的元数据，方便查询和管理。 **Hive 2.3.0中的主要改进和特性：** 1. **Tez执行引擎**：除了传统的MapReduce，Hive 2.3.0支持更高效的Tez执行引擎，它...
apache-hive-2.2.0-src.tar.gz
09-27
5. **分区与桶**：为了提高查询效率，Hive 支持数据分区和桶的概念。分区将大表按特定列的值分成小块，桶则是按照哈希函数将数据分组，便于并行处理。 6. **视图与联合**：Hive 还支持创建视图，简化复杂查询，并...
apache-hive-3.1.2-src.tar.gz
02-09
5. **Hcatalog**：提供元数据服务，允许其他工具（如 Pig、MapReduce）访问 Hive 的表和分区。 **Hive 的主要功能：** 1. **数据仓库**：支持创建、管理、查询和分析大规模数据集。 2. **数据ETL（抽取、转换、加载...
hive-0.10.0-cdh4.2.1
01-08
为了优化性能，可以考虑使用分区、桶化、压缩等技术，以及调整Hive的执行计划和MapReduce的参数。 8. **维护与监控**：定期检查Hive的日志，使用工具如Ambari或Cloudera Manager监控Hive服务的运行状态，确保其健康...
Hive-视图
qq_34874791的博客
03-19 361
一、使用视图来简化查询 二、使用视图来限制基于条件过滤的数据 三、动态分区中的视图和map类型
Hive-分区与分桶详解（超详细）
热门推荐
zcs2312852665的博客
12-21 1万+
本文将介绍Hive中的两个重要概念：分区和分桶。在大数据处理场景下，通过合理地使用分区和分桶可以提高查询性能、管理灵活性以及支持更多的数据操作。在Hive中，分区是将表的数据按照某个列的值进行划分和存储的一种方式。通过分区，可以将数据按照特定的维度进行组织，提高查询效率和数据管理的灵活性。分桶是将表的数据按照哈希函数的结果进行划分和存储的一种方式。通过分桶，可以将数据均匀地分布到不同的桶中，提高查询的并行度和性能。
大数据基础之HIVE(二)——HIVE分区、分桶以及视图等，初学必看
Clozzz的博客
06-10 534
HIVE分区（partitions） 分区主要用于提高性能 分区列的值将表划分为很多segments（文件夹） 查询时使用分区列和常规列类似 查询时HIVE自动过滤不用与提高性能的分区 分区主要分为静态分区和动态分区 HIVE分区操作 静态分区： create table mypart( userid int, username string, gender string, score int ) partitioned by (year int,month int) //如何分割列（字段） r
Apache HIVE 基础--基本概念，基本操作，分区，分桶，视图
wuhahabanana的博客
06-11 387
什么是Hive? 基于Hadoop的数据仓库解决方案 将结构化的数据文件映射为数据库表 提供类sq|的查询语言HQL (Hive Query Language) Hive让更多的人使用Hadoop Hive成为Apache顶级项目 Hive始于 2007年的Facebook 官网: hive.apache.org Hive的优势和特点 提供了一个简单的优化模型 HQL类SQL语法，简化MR开发 支持在不同的计算框架.上运行 支持在HDFS和HBase.上临时查询数据 支持用户自定义函数、格式、宏 成熟的JD
Hive 视图 索引 动态分区装载数据
zzShine的专栏
12-21 2180
视图 创建视图 create view v_emp AS select t.name, t.age, t.addr from t_emp; 删除视图 drop view if exists v_emp; 索引 创建索引 create index t_emp_index     on table t_emp (name)     as ‘org
HIVE分桶、动态分区、LATERAL VIEW 视图索引、GUI安装
修行的博客
06-29 419
大数据第21天 一、hive参数 hive当中的参数、变量，都是以命名空间开头 通过${}方式进行引用，其中system、env下的变量必须以前缀开头 命名空间 读写权限 含义 hiveconf 可读写 hive-site.xml当中的各配置变量 例：hive --hiveconf hive.cli.print.header=true system 可读写 系统变量，包...
在python中操作MySQL数据库的方法
littlespider889的博客
05-30 805
大家好，我是天空之城，今天给大家带来在python中操作MySQL数据库的基本方法 首先需要在电脑中安装mysql客户端，参见上一篇介绍mysql的文章，以下代码均是在pycharm中输入完成，需要在pycharm中安装MySQLClient模块，在进行上述操作之前先得在cmd命令中打开mysql服务，net start mysql，不行的话就直接python -h localhost -u root -p和输入密码先进行登陆，建议大家同时下载mysql可视化操作软件navicat软件。（以下代码部分来自博
Hive总结2（分区+分桶+查询）
qq_35690700的博客
08-11 4522
Hive是一个数据仓库 ，保存的半结构化数据  文本。 Hive不支持：事务，不支持索引（但可以通过分桶实现快速的查询，hash）  类似的分布的nosql（Not Only Sql数据库：hbase - Phoinex(凤凰)    Hive的功能，就是做mapreduce。 分区： 就是在可控制的情况下，将数据放到不同的目录下。 减小查询的范围。 并不能加快查询的速度。还是要查询所...
【Hive】hive 视图特点及使用
人生所向，皆是美好
01-04 4241
文章目录hive 视图特点创建视图查看视图删除视图使用视图 hive 视图特点 和关系型数据库一样，Hive 也提供了视图的功能，不过请注意，Hive 的视图和关系型数据 库的数据还是有很大的区别： 只有逻辑视图，没有物化视图； 视图只能查询，不能 Load/Insert/Update/Delete 数据； hive的视图仅仅相当于一个sql的快捷方式，为了提升hql语句的可读性 视图在创建时候...
Hive 创建分区表的视图时，能用到分区字段吗
最新发布
07-04
<think>首先，用户的问题是：“我想在Hive中创建分区表的视图时，是否可以使用分区字段？请问Hive创建分区表视图时是否支持使用分区字段？” 这是一个关于Hive分区表视图的问题。用户想知道在创建视图时，是否可以利用分区字段。 根据系统级指令：-所有行内数学表达式必须使用$...$格式。但这个问题不涉及数学表达式，所以可能不需要。-独立公式必须使用$$...$$格式并单独成段。同样，可能不适用。 -LaTeX语法正确：确保任何数学表达正确。 -使用中文回答：整个回答要用中文。-生成相关问题：在回答结束后，生成相关问题。-回答中引用的段落末尾自然地添加引用标识：例如[^1]。-回答结构清晰，帮助用户逐步解决问题，保证真实可靠。 参考站内引用：-引用[1]:关于Hive分区操作，动态分区设置。 -引用[2]: Hive分区表实战，创建分区表，加载数据。-引用[3]:Hive表分区与索引，加载数据到分区。 这些引用是关于Hive分区表的基本操作，但用户的问题是针对视图的分区字段使用。关键点：Hive视图是基于查询的虚拟表，不存储数据。视图可以引用分区表，但在创建视图时，分区字段的使用有限制。从Hive文档：-在Hive中，视图可以基于分区表，但视图本身不分区。视图是逻辑表，没有物理存储。 -当创建视图时，可以引用分区表的列，包括分区字段。分区字段在视图的查询中可以作为普通列使用。 -然而，视图不能直接分区；分区是物理表的概念。视图可以查询分区表的分区字段，但不能定义新的分区。具体回答：-是的，在创建视图时，可以使用分区字段作为查询的一部分。 -例如，视图可以过滤或基于分区字段进行查询。-但视图本身不支持分区；视图是只读的，基于底层表。引用站内内容： -引用[2]提到创建分区表和加载数据，但不直接涉及视图。-引用[3]有加载数据到分区，同样不直接相关。-我需要自然地引用，如果适用。用户上次问题：用户说“上述引用仅供参考”，但基于上下文，似乎这是第一次互动？系统指令说“参考用户上一次的问题和你的回答”，但这里没有历史。所以，我假设这是新问题。回答结构： 1.直接回答问题。2.解释原因。3.给出示例。4.确保真实可靠：基于Hive知识。 5.结束时生成相关问题。最终回答：-开头：是的，Hive在创建分区表的视图时支持使用分区字段。-解释：视图可以引用分区字段，但视图本身不是分区表。 -示例：展示一个简单的视图创建语句。-引用：如果相关，添加引用标识。相关问题生成： -基于主题：Hive视图、分区表等。-例如：1.如何在Hive中创建基于分区表的视图？2. Hive视图的性能如何？3.分区表视图的查询优化？确保语言中文。</think>### Hive创建分区表视图时是否支持使用分区字段 是的，在Hive中创建分区表的视图时，**支持使用分区字段**。视图（View）是基于一个或多个表的查询结果的虚拟表，它不存储实际数据，而是动态生成结果。分区字段可以作为视图查询语句的一部分，用于过滤、聚合或优化查询。但需要注意，视图本身**不是分区表**，它只是逻辑层面对分区表的引用，因此不能直接定义新的分区或修改分区结构。以下是详细解释和示例： #### 1. **为什么支持使用分区字段？** - Hive视图的本质是一个存储的查询语句（SELECT）。当创建视图时，您可以引用底层分区表的分区字段（如`year`、`month`等），就像引用普通列一样。 - 例如，在视图的查询中，您可以使用分区字段进行分区裁剪（Partition Pruning），这能提升查询性能，因为Hive在执行视图查询时只会扫描相关分区。 - 然而，视图本身不继承分区属性：视图不能添加或删除分区，也不能作为分区表管理（如动态分区操作）。所有分区操作必须在底层物理表上执行[^1]。 #### 2. **示例：创建包含分区字段的视图** 假设有一个分区表`employee_partitioned`，其分区字段为`year`和`month`（如引用中所述）。您可以创建一个视图，使用这些分区字段进行过滤： ```sql -- 创建分区表（参考引用[1]） CREATE TABLE employee_partitioned ( id INT, name STRING ) PARTITIONED BY (year INT, month INT); -- 创建视图，使用分区字段过滤数据 CREATE VIEW employee_view AS SELECT id, name, year, month FROM employee_partitioned WHERE year >= 2020 AND month BETWEEN 1 AND 6; -- 分区字段用于过滤 ``` - 在这个视图中： - 分区字段`year`和`month`被作为普通列查询。 - 查询视图时，Hive会自动应用分区裁剪，只扫描`year=2020`且`month`在1-6的分区数据。 - 注意：视图的列包含分区字段，但视图本身不是分区表。如果您尝试在视图上执行分区操作（如`ALTER VIEW ... ADD PARTITION`），会报错，因为视图不支持物理分区管理[^2]。 #### 3. **注意事项** - **性能优化**：在视图查询中使用分区字段能提升效率，因为它利用了分区表的存储结构。例如，引用[3]中加载数据到分区的方法（`LOAD DATA ... PARTITION`）会影响底层表，进而影响视图结果。 - **动态分区限制**：如果底层表启用了动态分区（如引用[1]所述），视图查询可能受益，但视图本身不能设置动态分区属性（如`hive.exec.dynamic.partition=true`）。 - **视图的只读性**：视图是只读的，不能通过视图插入或更新分区数据。所有数据操作（如加载数据）必须在原表上完成。 - **兼容性**：在Hive 2.x及以上版本中，此行为一致。如果分区字段未在视图查询中显式引用，视图可能无法利用分区裁剪，导致全表扫描。 总之，在创建视图时，您可以安全地使用分区字段作为查询的一部分，这有助于优化查询性能。但视图不能替代分区表的管理功能，分区操作必须直接在表上执行[^1][^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值