hive查询相关-优快云博客

本文链接：https://blog.youkuaiyun.com/iteye_20587/article/details/82580214

本文探讨了SQL嵌套查询中的两个常见问题：一是内层已去重时外层不应同时使用distinct和group by；二是多层嵌套查询可能导致数据分散在多个reducers中，影响聚合结果。文章提供了具体的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、嵌套查询统计数量去重问题

描述：如果子查询中对统计的字段已经去重，外面一层就不能同时有distinct（目标统计字段）和group by操作，否则查询结果不是统计的数量而是统计的字段数据。

如：

select

platform_id, count(distinct user_id) uv_count

from

(
- select
  - platform_id, user_id, sum(pv) pv
  from depot_user_browse
- where day = '20140201'
  - and (
    - platform_id = 12
    - or platform_id = 6
    - or platform_id = 11
    - or platform_id = 14
    - )
    and user_id is not null
  group by platform_id,user_id
) a

group by platform_id

limit 10;

查询结果：

6 10000242
6 10000332
6 10000468
6 10001799
6 10001809
6 10002210
6 10002753
6 10003070
6 10003815
6 10004929

解释：该查询中里面嵌套的一层已经group by user_id所以user_id不会有重复，最外层再distinct user_id同时group by platform_id时，查询的结果就成了platform_id和user_id而不是count出来的数量，如果distinct和group by只有其中一个操作就不会有这种现象。

解决办法：将count(distinct user_id) 改为count(user_id).

二、多次嵌套查询聚合问题

描述：如果子查询嵌套的层次过多，同时查询的数据量较大，在自由分配的情况下数据会被分到多个reducers中分别计算，计算完成后不会再进行聚合，而是把每个reduce算完的结果查询出来。

如：

查询结果：

select a.userid,sum(a.pv) pv

from(
- select c.userid,c.bookid,c.url,count(1) pv from(
  - select userid,bookid,url
    - from log
    - where day='20140201'
    - and logtype='access'
    - and project='android'
    - and actionname='read'
      - and (apiCode= or apiCode ='100')
- ) c
  - group by c.userid,c.bookid,c.url
)a where a.userid = '21057243' group by a.userid;