Hive SQL 执行顺序

Hive SQL 的执行顺序是理解查询性能和编写高效SQL的关键。虽然我们书写SQL语句的顺序是 SELECT -> FROM -> WHERE -> GROUP BY -> HAVING -> ORDER BY，但Hive（以及所有遵循SQL标准的数据库）在执行时，会按照一个特定的逻辑顺序来处理这些子句。

这个执行顺序决定了数据是如何一步步被过滤、聚合和排序的。

---

Hive SQL 的标准执行顺序

以下是Hive SQL查询从逻辑上被执行的步骤顺序：

1. FROM 和 JOIN

   • 做什么： 这是执行的第一步。Hive会先确定查询涉及哪些表，并基于 JOIN 条件将这些表连接起来，生成一个大的逻辑结果集（可以想象成一个巨大的中间表）。
   • 为什么第一： 必须先知道数据从哪里来，才能进行后续操作。

2. WHERE

   • 做什么： 对上一步连接生成的中间结果集进行行级别的过滤。只保留满足 WHERE 条件的行。
   • 关键点： WHERE 是在 GROUP BY 之前执行的，因此它不能使用聚合函数（如 SUM(), COUNT()），因为它操作的是单行数据。

3. GROUP BY

   • 做什么： 将上一步过滤后的结果集，按照 GROUP BY 子句中指定的一个或多个字段进行分组。每个唯一的分组值组合形成一个分组。
   • 结果： 生成一个分组后的结果集，后续的聚合函数将在每个分组内部计算。

4. HAVING

   • 做什么： 对 GROUP BY 之后生成的分组结果集进行过滤。它过滤的是“分组”，而不是单行。
   • 关键点： HAVING 是在 GROUP BY 之后执行的，因此它可以使用聚合函数。例如，HAVING COUNT(*) > 10 表示只保留成员数量大于10的分组。

5. SELECT

   • 做什么： 这是真正选择要返回哪些列的步骤。它会计算 SELECT 列表中的所有表达式，包括：
     • 普通字段
     • 计算字段（如 price * quantity）
     • 聚合函数（如 SUM(amount), AVG(score)）
   • 为什么在这里： 因为聚合函数需要在分组（GROUP BY）之后才能计算。

6. DISTINCT

   • 做什么： 如果 SELECT 中包含 DISTINCT 关键字，则在此步骤对 SELECT 产生的结果集进行去重，移除完全相同的行。
   • 注意： DISTINCT 作用于 SELECT 选择的所有列。

7. ORDER BY

   • 做什么： 对最终的结果集进行全局排序。可以指定升序（ASC）或降序（DESC）。
   • 性能注意： ORDER BY 通常需要将所有数据汇集到一个Reducer上进行排序，对于大数据量来说非常昂贵，可能导致性能瓶颈。在Hive中，可以考虑使用 SORT BY（在每个Reducer内排序）或 DISTRIBUTE BY ... SORT BY 来实现部分排序。

8. LIMIT

   • 做什么： 这是最后一步，返回结果集的前N行。

---

记忆口诀

一个简单的口诀来帮助记忆执行顺序：

"From Where Group Having Select Distinct Order Limit"
（取每个关键字的首字母：FWGHSDOL）

---

重要示例：理解 WHERE 和 HAVING 的区别

-- 目标：查询订单金额总和大于1000的用户，且这些订单是在2024年创建的。

-- ❌ 错误写法 (逻辑错误)
SELECT user_id, SUM(order_amount) as total
FROM orders
WHERE SUM(order_amount) > 1000  -- 错误！WHERE 不能用聚合函数
  AND YEAR(create_time) = 2024
GROUP BY user_id;

-- ✅ 正确写法
SELECT user_id, SUM(order_amount) as total
FROM orders
WHERE YEAR(create_time) = 2024  -- 第一步：先过滤出2024年的订单行
GROUP BY user_id               -- 第二步：按用户分组
HAVING SUM(order_amount) > 1000; -- 第三步：过滤掉总金额<=1000的用户分组

执行过程解析：

1. FROM orders: 确定数据源。
2. WHERE YEAR(create_time) = 2024: 从所有订单中筛选出2024年的订单（行级过滤）。
3. GROUP BY user_id: 将筛选后的订单按 user_id 分组。
4. HAVING SUM(order_amount) > 1000: 计算每个用户的订单总额，并只保留总额大于1000的用户。
5. SELECT: 选择 user_id 和计算出的 total。

---

总结

理解Hive SQL的执行顺序至关重要，因为它直接关系到：

• SQL的正确性： 知道何时能用聚合函数（HAVING vs WHERE）。
• 查询性能： 尽可能早地使用 WHERE 过滤数据，可以大大减少后续 GROUP BY 和 JOIN 的数据量，从而提升性能。例如，WHERE 条件能下推到表扫描阶段，而 HAVING 必须等到分组聚合之后。

记住：书写顺序 ≠ 执行顺序。掌握 FWGHSDOL 这个逻辑链条，能让你写出更高效、更正确的Hive SQL。