Hive知识点

本文介绍了Hive的基础知识,包括元数据存储、与Hive交互的三种方式、数据类型、数据操作、分区表、存储格式和HQL。强调了Hive作为数据仓库的特点,如读时模式、支持ACID操作、动态分区以及不同存储格式的使用。

基础知识
hive需要存储模式信息和其他元数据,默认使用关系型数据库Derby SQL。它提供有限的单进程的存储服务,例如用户不可以执行两个并发的Hive CLI实例。因此对于集群和多用户并发的场景来说,需要使用MySQL或者类似的关系型数据库,只要该数据库可以使用JDBC连接即可。
conf目录下存放了Hive的配置文件,包括元数据存储方式,各种各样的优化和安全控制等等。

如何与Hive交互
有三种方式可以访问Hive:
1,交互式的命令行界面
2,使用JDBC,ODBC(由thrift实现)。即编写Java程序,调用Hive的API来执行HQL,与在Java程序中调用关系型数据库API来操作关系型数据库是一样的。
3,Hive还提供一个简单的网页界面,提供远程访问hive的服务

下面就如何使用命令行做简单的介绍:
在操作系统命令行中执行HQL

下面的例子在操作系统命令行中执行HQL,且将结果输出到某目录:
/>hive -e “select * from mutable limit 3” > /tmp/myquery
也可以用下面的命令执行文件中的HQL
/>hive -f /path/to/file/queries.hql

在hive shell中则直接运行HQL:

hive>SELECT * from tableA;
或使用source关键字运行文件中的HQL
hive>source /path/to/file/withqueries.hql;
hive shell中甚至可以执行简单的操作系统shell命令,只需要在命令前加!
hive>! pwd;

Hive支持的数据类型

hive支持关系型数据库中的大多数基本数据类型,同时也支持三种集合数据类型,struct, map和arr

### Hive 知识点总结 #### 1. Hive 的定义与功能 Hive 是建立在 Hadoop 之上的开源数据仓库系统,可以将存储在 HDFS 上的结构化或半结构化数据文件映射为一张数据库表,并提供了一种类似于 SQL 的查询语言——HQL(Hive Query Language),用于访问和分析存储在 Hadoop 文件中的大型数据集[^1]。 #### 2. Hive 的核心特点 - **数据存储**:Hive 的数据存储在 HDFS 中,而元数据存储在 RDBMS 中(如 MySQL 或 Derby)[^3]。 - **查询语言**:Hive 提供了类似 SQL 的查询语言 HQL,便于用户进行数据分析[^1]。 - **执行引擎**:Hive 的查询最终会被转换为 MapReduce、Tez 或 Spark 任务来执行[^1]。 - **大规模数据处理**:Hive 支持大规模数据计算,适合处理 TB 级甚至 PB 级的数据[^2]。 #### 3. Hive 的基本操作 - **创建数据库**: ```sql CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT 'database_comment'] [LOCATION 'hdfs_path'] [WITH DBPROPERTIES (property_name=property_value, ...)]; ``` 这条语句用于创建一个新的数据库,同时可以指定注释、存储路径以及数据库属性[^5]。 - **创建表**: - 内部表: ```sql CREATE TABLE table_name ( column1 datatype, column2 datatype, ... ) STORED AS file_format; ``` - 外部表: ```sql CREATE EXTERNAL TABLE table_name ( column1 datatype, column2 datatype, ... ) LOCATION 'hdfs_path'; ``` 内部表的数据由 Hive 管理,删除表时会删除数据;外部表的数据存储在指定的 HDFS 路径中,删除表时不会删除数据[^1]。 - **加载数据**: ```sql LOAD DATA [LOCAL] INPATH 'path_to_data' [OVERWRITE] INTO TABLE table_name; ``` 该命令用于将本地或 HDFS 上的数据加载到 Hive 表中。 - **查询数据**: ```sql SELECT column1, column2 FROM table_name WHERE condition; ``` Hive 支持标准的 SQL 查询语法,包括过滤、分组、排序等操作。 #### 4. Hive 的配置优化 - **避免笛卡尔积**:将 `hive.strict.checks.cartesian.product` 设置为 `true`,可以限制不带 `ON` 子句的 `JOIN` 查询,防止出现不可控的笛卡尔积[^4]。 - **选择合适的执行引擎**:可以通过设置 `hive.execution.engine` 参数来选择 MapReduce、Tez 或 Spark 作为执行引擎。例如: ```sql SET hive.execution.engine=tez; ``` #### 5. 数据仓库查询语言 Hive 的查询语言 HQL 类似于 SQL,但有一些差异需要注意: - **分区与分桶**:Hive 支持分区和分桶技术,用于优化查询性能。分区是基于某些列对数据进行物理分割,分桶是基于哈希值对数据进行逻辑分割[^1]。 - **JOIN 查询**:Hive 不支持自动将 `WHERE` 子句转化为 `ON` 子句,因此需要显式指定 `ON` 条件[^4]。 - **复杂数据类型**:Hive 支持数组、映射和结构体等复杂数据类型,可以在查询中使用这些类型进行复杂数据处理[^1]。 ```sql -- 示例:查询包含复杂数据类型的表 SELECT id, array_column[0], map_column['key'], struct_column.field_name FROM complex_table; ``` --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值