Hive 面试题（九）

1. 简述Hive的开窗函数有哪些 ？

Hive的开窗函数（Window Functions）是一种特殊的函数，它在某种程度上类似于聚合函数，但是它们为每一行返回一个值，而不是将多行合并为一个单一的聚合输出。开窗函数在处理数据时能够提供更加丰富的数据分析能力。以下是Hive中一些常见的开窗函数：

1. ROW_NUMBER()：

   • 为结果集中的每一行分配一个唯一的序号，序号是连续的，从1开始。

2. RANK()：

   • 为结果集中的每一行分配一个排名，如果有相同的值，它们会获得相同的排名，并且排名会跳过后续的数字。

3. DENSE_RANK()：

   • 与RANK()类似，但是DENSE_RANK()不会跳过排名数字，即使有并列排名，后续的排名仍然是连续的。

4. LEAD()：

   • 返回结果集中当前行之后一行的值。可以指定一个offset来获取更远的行。

5. LAG()：

   • 返回结果集中当前行之前一行的值。可以指定一个offset来获取更远的行。

6. FIRST_VALUE()：

   • 返回窗口内指定列的第一个值。

7. LAST_VALUE()：

   • 返回窗口内指定列的最后一个值。

8. NTILE()：

   • 将结果集分为指定数量的桶，返回当前行所属桶的编号。

9. NTH_VALUE()：

   • 返回在窗口内指定行号的值。

开窗函数通常与OVER()子句一起使用，OVER()子句定义了窗口函数操作的窗口范围。窗口可以是：

• 从当前行开始到结果集的末尾。
• 从当前行开始到某个特定的行。
• 基于某个排序的行的范围。

以下是一个开窗函数使用的例子：

SELECT 
    column1,
    column2,
    ROW_NUMBER() OVER (ORDER BY column1) AS row_num
FROM 
    table_name;

在这个例子中，ROW_NUMBER()开窗函数为table_name表中的每一行按column1排序后分配一个唯一的序号。

开窗函数在进行复杂数据分析时非常有用，比如在处理时间序列数据、排名、层次结构数据等方面。它们提供了一种强大的工具，可以在不改变原始数据集的情况下，为每一行数据提供上下文信息。

2. 简述Hive存储数据吗 ？

是的，Hive 设计用于存储和处理大规模数据集。作为 Hadoop 生态系统的一部分，Hive 主要负责数据的存储、查询和管理。以下是 Hive 存储数据的一些关键点：

1. 数据存储位置：

   • Hive 表中的数据通常存储在 Hadoop 分布式文件系统（HDFS）上，这是 Hadoop 的默认文件系统。

2. 数据模型：

   • Hive 使用表格模型，其中数据以行和列的形式组织。

3. 数据类型：

   • Hive 支持多种数据类型，包括数值型、字符串型、二进制型以及复杂的数据类型如数组、映射和结构。

4. 分区：

   • Hive 支持表的分区，这意味着数据可以根据某些列（通常是时间戳或地区代码）被分割成不同的分区。

5. 桶（Bucketing）：

   • 除了分区，Hive 还支持桶的概念，它允许数据在物理上进一步细分，以优化查询性能。

6. 存储格式：

   • Hive 支持多种存储格式，包括文本文件、SequenceFile、ORC（Optimized Row Columnar）、Parquet 和 Avro 等。

7. 数据导入：