大数据面试题之Presto[Trino](3)

目录

Presto如何处理数据的聚合操作？

Presto支持哪些类型的JOIN操作？

如何在Presto中使用子查询？

解释Presto中的窗口函数。

Presto中的Page和Block是什么？

描述Presto如何处理列式存储数据。

ORC和Parquet格式在Presto中的支持情况如何？

如何在Presto中使用压缩数据格式？

解释Presto中的内存管理和数据结构。 

什么情况下Presto的性能会下降？

---

Presto如何处理数据的聚合操作？

Presto处理数据聚合操作的方式遵循SQL标准，主要通过GROUP BY子句来实现对数据集的分组聚合。以下是Presto处理聚合操作的基本步骤和高级特性：
1、基本聚合操作：
使用GROUP BY关键字对数据进行分组，然后应用聚合函数（如SUM, AVG, COUNT, MAX, MIN等）来计算每个组的汇总值。例如，SELECT name, SUM(sales) FROM sales_data GROUP BY name; 将按姓名分组并计算每个人的销售总额。
2、增强聚合功能：
Presto支持GROUPING SETS, CUBE, 和 ROLLUP 等高级聚合操作，以方便用户执行多维度分析：
GROUPING SETS 允许用户指定一组特定的分组组合，相当于执行多个GROUP BY查询的并集。
ROLLUP 自动生成一系列嵌套的分组，从最细粒度到更高层次的汇总。
CUBE 生成所有可能的分组组合，适用于全维度分析。
3、内存管理与溢出处理：
在执行聚合操作时，Presto会尽可能在内存中完成计算。如果数据量过大导致内存不足，Presto会尝试使用外部排序或临时磁盘空间来处理数据溢出，以保证查询的连续执行。
4、用户自定义聚合函数(UDAF)：
Presto允许用户开发自定义聚合函数来满足特定的业务需求。这包括定义输入函数、合并函数和输出函数，以处理复杂的数据聚合逻辑。
5、并行处理与分布执行：
聚合操作在Presto中是以并行和分布的方式执行的。查询被分解成多个任务，分配到不同的worker节点上执行，每个节点处理一部分数据。这大大加速了处理大量数据集的能力。
6、优化与执行计划：
Presto的查询优化器会分析聚合查询，选择最优的执行计划，包括但不限于谓词下推、早期聚合（在读取数据时就进行部分聚合以减少数据量）等策略，以提高执行效率。
综上，Presto通过灵活的SQL语法支持、高效的内存管理和并行处理架构，以及对用户自定义扩展的支持，提供了强大且高效的数据聚合能力。

Presto支持哪些类型的JOIN操作？

Presto支持以下几种类型的JOIN操作：

1. Inner Join（内连接）：返回两个表中键相匹配的行。
2. Left Join（左连接）：返回左表的所有行，即使在右表中没有匹配项。对于右表中没有匹配的行，结果集中右表的部分将为NULL。
3. Right Join（右连接）：与左连接相反，返回右表的所有行，即使在左表中没有匹配项。对于左表中没有匹配的行，结果集中左表的部分将为NULL。
4. Full Outer Join（全外连接）：返回左表和右表中所有匹配和不匹配的行。不匹配的行在另一侧对应的列值将为NULL。
5. Cross Join（交叉连接）：又称笛卡尔积，返回左表的每一行与右表的每一行的所有可能组合，不带任何条件。
6. Semi Join（半连接）：只返回左表中在右表中有匹配项的行，但不包含右表的列。
7. Anti Join（反连接）：返回左表中在右表中没有匹配项的行。

这些JOIN操作允许用户灵活地在数据集之间进行关联分析，满足不同的查询需求。值得注意的是，虽然Presto支持这些JOIN操作，但对于多张大表的JOIN，由于其基于内存的计算模型，可能会面临内存压力，从而影响性能。因此，在处理大规模数据JOIN时，需要考虑数据分布、表的大小以及内存资源，合理设计查询和调整系统配置以优化性能。

如何在Presto中使用子查询？

在Presto中，子查询是一种常见的SQL构造，用于在主查询内部嵌套另一个查询，以实现更复杂的逻辑。子查询可以出现在SELECT、FROM、WHERE、HAVING等子句中。以下是一些使用子查询的示例和说明：
1. 在SELECT或FROM子句中使用子查询
作为标量子查询
标量子查询返回单值，通常用于SELECT列表或WHERE子句中。

SELECT id, 
    (SELECT MAX(price) FROM orders WHERE orders.user_id = users.id) AS max_order_price
FROM 
    users;

此例中，为每个用户查询其最大订单价格。

作为表子查询
子查询可以放在FROM子句中，作为临时表使用。

SELECT product_id, SUM(quantity) FROM (
    SELECT product_id, quantity
    FROM orders
    WHERE order_date > '2023-01-01'
) AS recent_orders
GROUP BY product_id;

这里，先筛选出2023年后所有的订单，然后对这些订单按产品ID求和数量。
2. 在WHERE子句中使用子查询

SELECT * FROM customers 
WHERE customer_id IN (SELECT customer_id FROM orders WHERE order_amount > 1000);

此查询找出有订单金额超过1000的客户信息。
3. 使用EXISTS和NOT EXISTS