Hive的WITH table_name AS ..语句优化性能

最新推荐文章于 2025-07-08 00:27:33 发布

原创最新推荐文章于 2025-07-08 00:27:33 发布 · 7.6k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#Hive #WITH #优化性能

Hive 专栏收录该内容

18 篇文章

订阅专栏

本文介绍Hive中WITH AS语句的功能和使用方法，它能有效提升含有重复子查询的SQL语句的执行效率。特别适用于UNION ALL操作中避免多次执行相同的子查询，从而减少计算成本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hive的WITH语句会将表预先加载入内存，在以提高代码运行效率。

一．WITH AS的含义
WITH AS短语，也叫做子查询部分（subquery factoring），可以让你做很多事情，定义一个SQL片断，该SQL片断会被整个SQL语句所用到。有的时候，是为了让SQL语句的可读性更高些，也有可能是在UNION ALL的不同部分，作为提供数据的部分。
特别对于UNION ALL比较有用。因为UNION ALL的每个部分可能相同，但是如果每个部分都去执行一遍的话，则成本太高，所以可以使用WITH AS短语，则只要执行一遍即可。如果WITH AS短语所定义的表名被调用两次以上，则优化器会自动将WITH AS短语所获取的数据放入一个TEMP表里，如果只是被调用一次，则不会。而提示materialize则是强制将WITH AS短语里的数据放入一个全局临时表里。很多查询通过这种方法都可以提高速度。

二．使用方法
先看下面一个嵌套的查询语句：

select * from person.StateProvince where CountryRegionCode in
(select CountryRegionCode from person.CountryRegion where Name like 'C%')

再看用with改写之后的语句

with
cr as
(
select CountryRegionCode from person.CountryRegion where Name like 'C%'
)
select * from person.StateProvince where CountryRegionCode in (select * from cr)