SparkSQL中横向迭代计算的4种方式，以及子查询、临时视图、永久视图、缓存表之间的区别？（附案例）

竹长大大

于 2022-02-28 01:10:02 发布

阅读量1.3k

点赞数 4

分类专栏： # Spark 文章标签： sql spark 大数据 big data sparksql

本文链接：https://blog.youkuaiyun.com/qq_17685725/article/details/123152871

版权

本文通过案例介绍了SparkSQL中计算c2和c3字段的方法，包括子查询、临时视图、永久视图和缓存表。永久视图是逻辑保存的SQL，临时视图仅在当前会话有效，缓存表存储查询结果集于内存，而table则持久化数据。with as用于提高复杂子查询的可读性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

案例1：已知c1字段，计算c2和c3字段。

数据准备：

drop view test1;
create  view test1(c1) as values (1),(2),(3);
select * from test1;

子查询

-- 普通嵌套
select *,
       c1*c2 as c3
from
(select c1,
       c1+2 as c2
  from test1);
-- with as
with t1 as (
    select c1,
           c1 + 2 as c2
    from test1
),
     t2 as (
         select *,
                c1 * c2 as c3
         from t1
     )
select * from t2;

临时视图

create temporary view temp_view1 as
  select c1,
           c1 + 2 as c2
    from test1;
create temporary view temp_view2 as
 select *,
       c1 * c2 as c3
from temp_view1;
select * from temp_view2;