Hive 知识点八股文记录 ——(三)区别和原理

区别

order by , sort by , distribute by , cluster by 的区别

  • order by:全局排序,只有一个reduce(多个reduce无法保证全局有序
  • sort by:非全局排序,reduce前进行排序。
    • 因此 mapped. reduce. tasks >1, sort by只会保证每个 reducer的输出有序,并不保证全局有序
    • 实现全局排序: 先用 sortby保证每个 reducer输出有序,再order by归并reduce
  • distribute by: 在map端拆分数据给 reduce端. hive 根据distribute by的列,对reduce个数分发,默认hash算法
    • (sort by为每个reduce产生排序文件,但有时候你需要空值某个行到特定的reduce)
    • hive规定distribute by 语句要写在sort by语句之前,两者配合使用
  • cluster by:当distribute by 和 sort by 所指定的字段相同时,即可以使用cluster by(列只能是升序,不能指定asc和desc

hive分隔符

建表指定分隔符

CREATE TABLE mytable (col1 STRING, col2 STRING, col3 STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ',';

加载数据指定分隔符

LOAD DATA LOCAL INPATH '/path/to/data.txt' INTO TABLE mytable
FIELDS TERMINATED BY ',';

分区分桶

概念

分区分桶
大表存储的时候根据不同数据作为目录来存储。
一级目录:单分区表;多级目录:多分区表
非最终分区表不能存数据
hive表按hash值分为多个桶,让数据均匀分布到多个桶中提高查询性能。

他们并不互斥,存储格式有差别

作用?

分区分桶
数据分为小块,提高查询性能提高Join查询的效率,在一份数据会被经常用来做连接查询的时候建立分桶表,分桶字段就是连接字段

两者一起使用的结果

  • 使取样(sampling)更高效,只取一部分数据集进行测试
  • 分桶对比分区可粒度更细
  • 分区不是按照真实数据的列,而是指定的伪列,分桶则是按照数据列

row_number 中 distribute by 和 partition by 的区别

  • distribute by用于指定数据在Reducer上的分布方式,确保具有相同值的行被分发到同一个Reducer上。
  • partition by用于指定在计算row_number()时要分区的,将数据划分为更小的块,提高计算效率。 —— 按列分区后,每个列内再计算行号

partition by 只能和 order by 组合使用

distribute by 只能和 sort by 使用

left semi join 和 left join 区别

left join:展示左表和右表的所有字段,如果右表没有匹配的记录,右表的字段值为NULL

left semi join:仅展示A表与B表匹配的记录,并且只展示A表字段,因为left semi join只传递表的join key给Map阶段(

A表:

idname
1Alice
2Bob
3Carol

B表:

idage
225
330
435
  1. 左连接(left join)示例:
SELECT A.id, A.name, B.age
FROM A
LEFT JOIN B ON A.id = B.id;

结果:

idnameage
1AliceNULL
2Bob25
3Carol30
  1. 左半连接(left semi join)示例:
SELECT A.id, A.name
FROM A
LEFT SEMI JOIN B ON A.id = B.id;

结果:

idname
2Bob
3Carol

原理

group by 排序的原因

  • 分组聚合:GROUP BY语句通常与聚合函数(如SUM、COUNT、AVG等)一起使用,用于对数据进行分组并计算聚合结果
  • 归并操作:通过MapReduce或Tez任务来执行的。任务中,数据需要在不同的节点之间进行归并操作,以将相同键值的数据合并在一起。GROUP BY字段进行排序可以提高合并效率
  • 优化查询性能:相同的键值的数据会被连续地存储在磁盘上,这样可以减少磁盘I/O的次数,提高查询的效率

group by 默认全局,可以用DISTRIBUTE BY和SORT BY语句来实现分布式排序,将排序的负载分散到不同的节点上

mapjoin

hint提示 /*+ mapjoin(table) */可以执行mapjoin

  • 小表数据存入内存,生成hash表,key为hash值,value为数据
  • mapper阶段,大表记录计算hash值匹配小表,匹配成功后输出到reduce
  • 连接列的值,将所有匹配记录合并成一条记录输出结果

避免大表全盘扫描,磁盘读写,提高查询性能

### Hive 知识点总结 #### 1. Hive 的定义与功能 Hive 是建立在 Hadoop 之上的开源数据仓库系统,可以将存储在 HDFS 上的结构化或半结构化数据文件映射为一张数据库表,并提供了一种类似于 SQL 的查询语言——HQL(Hive Query Language),用于访问分析存储在 Hadoop 文件中的大型数据集[^1]。 #### 2. Hive 的核心特点 - **数据存储**:Hive 的数据存储在 HDFS 中,而元数据存储在 RDBMS 中(如 MySQL 或 Derby)[^3]。 - **查询语言**:Hive 提供了类似 SQL 的查询语言 HQL,便于用户进行数据分析[^1]。 - **执行引擎**:Hive 的查询最终会被转换为 MapReduce、Tez 或 Spark 任务来执行[^1]。 - **大规模数据处理**:Hive 支持大规模数据计算,适合处理 TB 级甚至 PB 级的数据[^2]。 #### 3. Hive 的基本操作 - **创建数据库**: ```sql CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT 'database_comment'] [LOCATION 'hdfs_path'] [WITH DBPROPERTIES (property_name=property_value, ...)]; ``` 这条语句用于创建一个新的数据库,同时可以指定注释、存储路径以及数据库属性[^5]。 - **创建表**: - 内部表: ```sql CREATE TABLE table_name ( column1 datatype, column2 datatype, ... ) STORED AS file_format; ``` - 外部表: ```sql CREATE EXTERNAL TABLE table_name ( column1 datatype, column2 datatype, ... ) LOCATION 'hdfs_path'; ``` 内部表的数据由 Hive 管理,删除表时会删除数据;外部表的数据存储在指定的 HDFS 路径中,删除表时不会删除数据[^1]。 - **加载数据**: ```sql LOAD DATA [LOCAL] INPATH 'path_to_data' [OVERWRITE] INTO TABLE table_name; ``` 该命令用于将本地或 HDFS 上的数据加载到 Hive 表中。 - **查询数据**: ```sql SELECT column1, column2 FROM table_name WHERE condition; ``` Hive 支持标准的 SQL 查询语法,包括过滤、分组、排序等操作。 #### 4. Hive 的配置优化 - **避免笛卡尔积**:将 `hive.strict.checks.cartesian.product` 设置为 `true`,可以限制不带 `ON` 子句的 `JOIN` 查询,防止出现不可控的笛卡尔积[^4]。 - **选择合适的执行引擎**:可以通过设置 `hive.execution.engine` 参数来选择 MapReduce、Tez 或 Spark 作为执行引擎。例如: ```sql SET hive.execution.engine=tez; ``` #### 5. 数据仓库查询语言 Hive 的查询语言 HQL 类似于 SQL,但有一些差异需要注意: - **分区与分桶**:Hive 支持分区分桶技术,用于优化查询性能。分区是基于某些列对数据进行物理分割,分桶是基于哈希值对数据进行逻辑分割[^1]。 - **JOIN 查询**:Hive 不支持自动将 `WHERE` 子句转化为 `ON` 子句,因此需要显式指定 `ON` 条件[^4]。 - **复杂数据类型**:Hive 支持数组、映射结构体等复杂数据类型,可以在查询中使用这些类型进行复杂数据处理[^1]。 ```sql -- 示例:查询包含复杂数据类型的表 SELECT id, array_column[0], map_column['key'], struct_column.field_name FROM complex_table; ``` --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值