hive知识点

特点
1)hive采用的schema on read(读时模式),只有在读时才会检查、解析具体的数据字段,schema;因此它load数据的时候速度非常快,不需要解析数据,只是对数据进行拷贝,移动。
2)hive具有复杂的数据结构(数组,映射,结构体)
3)hive不支持实时数据处理,对索引的支持较弱。
4)hive不支持行级插入。
5)延迟高,数据量大,多存储在hdfs上。
6)执行为mapreduce。
7)hive不支持行级操作也不支持事务。

内部表与外部表的区别
ive创建内部表时,会将数据移动到数据仓库指向的路径,hive管理数据的生命周期;
创建外部表时,仅记录数据所在的路径,不对数据的位置做任何改变。
在删除表时,内部表的元数据和数据会一起被删除。外部表只删除元数据,不删除数据。

选择:内部表与外部表没有太大区别。如果所有的数据都由hive处理,则创建内部表;如果数据的处理由hive和其他工具一起处理,则创建外部表。

### Hive 知识点总结 #### 1. Hive 的定义与功能 Hive 是建立在 Hadoop 之上的开源数据仓库系统,可以将存储在 HDFS 上的结构化或半结构化数据文件映射为一张数据库表,并提供了一种类似于 SQL 的查询语言——HQL(Hive Query Language),用于访问和分析存储在 Hadoop 文件中的大型数据集[^1]。 #### 2. Hive 的核心特点 - **数据存储**:Hive 的数据存储在 HDFS 中,而元数据存储在 RDBMS 中(如 MySQL 或 Derby)[^3]。 - **查询语言**:Hive 提供了类似 SQL 的查询语言 HQL,便于用户进行数据分析[^1]。 - **执行引擎**:Hive 的查询最终会被转换为 MapReduce、Tez 或 Spark 任务来执行[^1]。 - **大规模数据处理**:Hive 支持大规模数据计算,适合处理 TB 级甚至 PB 级的数据[^2]。 #### 3. Hive 的基本操作 - **创建数据库**: ```sql CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT 'database_comment'] [LOCATION 'hdfs_path'] [WITH DBPROPERTIES (property_name=property_value, ...)]; ``` 这条语句用于创建一个新的数据库,同时可以指定注释、存储路径以及数据库属性[^5]。 - **创建表**: - 内部表: ```sql CREATE TABLE table_name ( column1 datatype, column2 datatype, ... ) STORED AS file_format; ``` - 外部表: ```sql CREATE EXTERNAL TABLE table_name ( column1 datatype, column2 datatype, ... ) LOCATION 'hdfs_path'; ``` 内部表的数据由 Hive 管理,删除表时会删除数据;外部表的数据存储在指定的 HDFS 路径中,删除表时不会删除数据[^1]。 - **加载数据**: ```sql LOAD DATA [LOCAL] INPATH 'path_to_data' [OVERWRITE] INTO TABLE table_name; ``` 该命令用于将本地或 HDFS 上的数据加载到 Hive 表中。 - **查询数据**: ```sql SELECT column1, column2 FROM table_name WHERE condition; ``` Hive 支持标准的 SQL 查询语法,包括过滤、分组、排序等操作。 #### 4. Hive 的配置优化 - **避免笛卡尔积**:将 `hive.strict.checks.cartesian.product` 设置为 `true`,可以限制不带 `ON` 子句的 `JOIN` 查询,防止出现不可控的笛卡尔积[^4]。 - **选择合适的执行引擎**:可以通过设置 `hive.execution.engine` 参数来选择 MapReduce、Tez 或 Spark 作为执行引擎。例如: ```sql SET hive.execution.engine=tez; ``` #### 5. 数据仓库查询语言 Hive 的查询语言 HQL 类似于 SQL,但有一些差异需要注意: - **分区与分桶**:Hive 支持分区和分桶技术,用于优化查询性能。分区是基于某些列对数据进行物理分割,分桶是基于哈希值对数据进行逻辑分割[^1]。 - **JOIN 查询**:Hive 不支持自动将 `WHERE` 子句转化为 `ON` 子句,因此需要显式指定 `ON` 条件[^4]。 - **复杂数据类型**:Hive 支持数组、映射和结构体等复杂数据类型,可以在查询中使用这些类型进行复杂数据处理[^1]。 ```sql -- 示例:查询包含复杂数据类型的表 SELECT id, array_column[0], map_column['key'], struct_column.field_name FROM complex_table; ``` --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值