Spark SQL 中 stack 函数使用详解

前言

• STACK 函数是 Spark SQL 中一个强大的行转列函数，它允许你将多个值按指定的行数和列数"堆叠"成新的行。这个函数在处理数据透视、行列转换等场景时特别有用。

---

Spark SQL 中 explode 函数的使用详解

深入理解Hive SQL中的LATERAL VIEW explode用法

基本语法

STACK(n, expr1, expr2, ..., exprK)

• n: 要生成的行数
• expr1, expr2, ..., exprK: 表达式列表，数量必须是 n 的倍数
• 返回值：生成 n 行，每行有 K/n 列

基础示例

简单堆叠示例

SELECT STACK(2, 'A', 10, 'B', 20) AS (col1, col2)

结果：

col1 | col2
-----|-----
A    | 10
B    | 20

多列堆叠示例

SELECT STACK(3, 
    'John', 'IT', 5000,
    'Jane', 'HR', 6000, 
    'Bob', 'Finance', 5500
) AS (name, department, salary)

结果：

name | department | salary
-----|------------|-------
John | IT         | 5000
Jane | HR         | 6000
Bob  | Finance    | 5500

实际应用场景

场景1：数据透视表逆操作

假设我们有宽表数据：

CREATE TABLE sales_data (
    product STRING,
    q1_sales INT,
    q2_sales INT,
    q3_sales INT,
    q4_sales INT
);

INSERT INTO sales_data VALUES 
('Product_A', 100, 150, 200, 180),
('Product_B', 120, 130, 140, 160);

使用 STACK 转换为长表：

SELECT product, quarter, sales
FROM sales_data
LATERAL VIEW STACK(4, 
    'Q1', q1_sales,
    'Q2', q2_sales, 
    'Q3', q3_sales,
    'Q4', q4_sales
) AS quarter, sales

结果：

product   | quarter | sales
----------|---------|------
Product_A | Q1      | 100
Product_A | Q2      | 150
Product_A | Q3      | 200
Product_A | Q4      | 180
Product_B | Q1      | 120
Product_B | Q2      | 130
Product_B | Q3      | 140
Product_B | Q4      | 160

场景2：多指标同时转换

CREATE TABLE metrics (
    region STRING,
    revenue_2022 INT,
    revenue_2023 INT,
    profit_2022 INT,
    profit_2023 INT
);

INSERT INTO metrics VALUES 
('North', 50000, 60000, 15000, 18000),
('South', 40000, 45000, 12000, 14000);

同时转换多个指标：

SELECT region, year, metric_type, value
FROM metrics
LATERAL VIEW STACK(4,
    '2022', 'revenue', revenue_2022,
    '2023', 'revenue', revenue_2023,
    '2022', 'profit', profit_2022,
    '2023', 'profit', profit_2023
) AS year, metric_type, value

结果：

region | year | metric_type | value
-------|------|-------------|-------
North  | 2022 | revenue     | 50000
North  | 2023 | revenue     | 60000
North  | 2022 | profit      | 15000
North  | 2023 | profit      | 18000
South  | 2022 | revenue     | 40000
South  | 2023 | revenue     | 45000
South  | 2022 | profit      | 12000
South  | 2023 | profit      | 14000

与 LATERAL VIEW 结合使用

STACK 函数通常与 LATERAL VIEW 结合使用，以便为原始表的每一行生成多行数据。

基本语法

SELECT ...
FROM table_name
LATERAL VIEW STACK(n, expr1, expr2, ..., exprK) alias AS col1, col2, ..., colM

性能优化建议

1. 避免过度使用：STACK 会显著增加数据量，谨慎使用
2. 合理设置行数：只生成必要的数据行
3. 结合过滤条件：在 STACK 后尽早使用 WHERE 条件过滤
4. 数据分布考虑：注意可能造成的数据倾斜问题

与其它函数的对比

函数	用途	特点
EXPLODE	数组/Map展开	处理复杂数据类型
POSEXPLODE	数组展开带位置	保留元素位置信息
STACK	多值堆叠	灵活的行列转换

常见错误及解决方法

错误1：表达式数量不匹配

-- 错误：表达式数量不是行数的整数倍
SELECT STACK(2, 'A', 10, 'B')  -- 缺少一个表达式

-- 正确
SELECT STACK(2, 'A', 10, 'B', 20)

错误2：列别名数量不匹配

-- 错误：列别名数量与实际列数不匹配
SELECT STACK(2, 'A', 10, 'B', 20) AS (col1)  -- 需要2个别名

-- 正确
SELECT STACK(2, 'A', 10, 'B', 20) AS (col1, col2)

---

总结

STACK 函数是 Spark SQL 中强大的数据重塑工具，特别适用于：

• 数据透视逆操作：将宽表转换为长表
• 多指标转换：同时处理多个相关的指标列
• 测试数据生成：快速创建结构化的测试数据
• 条件组合：生成多条件组合的场景

掌握 STACK 函数的使用，可以让你在数据预处理和转换过程中更加得心应手，大大提高数据处理的效率和灵活性。

如果此篇文章有帮助到您, 希望打大佬们能关注、点赞、收藏、评论支持一波，非常感谢大家！
如果有不对的地方请指正!!!