Presto 聚合中groupBy分组的实现

最新推荐文章于 2024-08-18 22:32:24 发布
原创 最新推荐文章于 2024-08-18 22:32:24 发布 · 2.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#presto #大数据 #trino #openlookeng #groupby

本文探讨了Presto数据库中的分组实现原理。针对单列和多列分组，分别介绍了BigintGroupByHash与MultiChannelGroupByHash的工作机制，包括hash计算、地址定位及数据存储方式。

一.前言

         本文只要探索在Presto中groupby是怎么实现的。在Preso中，groupby的分组主要通过对数据Hash的数值比较进行分组，其中有2种情况，一直是仅有一个groupby字段而且字段是Bigint类型的，此场景下会使用BigintGroupByHash来实现分组，其他的情况则使用MultiChannelGroupByHash实现多列分组。

二. BigintGroupByHash分组的实现  

     在理解BigintGroupByHash实现分组过程前，需要先了解BigintGroupByHash中几个全部变量的意义：

    groupId : 一个累增的数，在groupby字段中，每遇到一个hash后找不到的值时候，此字段+1，起id作用

    hashPosition : goupby字段的value的hash值，用来充当在数组中的位置作用

    values : 一个key-value对，key值为groupby字段的value值的HashPisition，value为groupby字段的value

    groupIds : 一个key-value对，key值为HashPosition，value值为groupId         

    valuesByGroupId   ：一个数组，在groupId的下标处放置 value

    GroupCount：groupby字段groupby后的数量

    了解上边字段的意义后，如下通过Hash实现分组的流程则比较容易于理解：

最低0.47元/天 解锁文章
批量数据的聚合以及groupby实现
tracymkgld的专栏
02-19 4406
大家一定对sql非常熟悉，关系型数据库自不必说，现在越来越多的大数据系统也都支持sql，比如hive，odps ,presto，phoenix（hbase），galaxy 以及cep（esper）等都支持sql，或者类sql语言。sql语言更接近自然语言，让人非常容易理解，上手也比较方便，可以有效降低系统的入门门槛。很多大数据系统都用antlr来实现sql，antlr帮助我们实现sql语法解析和编
mysql presto_mysql、hive、presto对时间维度字段按照天、周、月、季度、年等进行聚合操作...
weixin_39757739的博客
01-19 2797
背景最近在做一个BI产品，遇到了一个需求，就是用户在做数据分析时，希望可以根据数据的时间维度字段来进行天、周、月、季度、年等聚合操作。简单的描述一下。假设我们有如下一批明细数据下单时间下单金额下单用户2020-09-101012020-09-122022020-10-103032020-11-10404如果我们想根据下单时间来统计一下每周的下单金额汇总、每月的下单金额汇总或者是每个季度的下单金额汇...
小白学presto日记——GROUP BY
qq_42515611的博客
09-14 845
select logday,app_version,element_page,count(1) as pv from ods_news.event where logday=format_datetime(cast('2020-08-01' as timestamp),'yyyyMMdd') and app_version!='' group by 1,2,3 presto GROUP BY 子句对 SELECT 语句的输出进行分组， 分组中是匹配值的数据行。 Group BY 子句支持任意表..
es 查询总数_深入理解Presto中的Group By查询
weixin_39603622的博客
11-27 777
在Presto中的分组聚合查询流程中介绍了Presto中的HashAgg的大体流程，本文对Presto中的Agg再次进行更进一步的介绍。Group By操作是分析型数据库中非常重要的一个操作，在分布式计算系统中又有着特殊的实现，这和数据入库后的存储方式有着非常大的关系，首先来看比较流程的shared disk存储架构，这种架构比较典型和流行的就是HDFS，在MapReduce框架下，groupby...
Presto【付诸实践 01】Presto查询性能优化（数据存储+SQL优化+无缝替换Hive表+注意事项）及9个实践问题分享
シ風
12-14 3821
Presto查询性能优化（数据存储+SQL优化+无缝替换Hive表+注意事项）及9个实践问题分享
hadoop概念07-MapReduce优缺点、流程、任务数设置、Join
小小鱼
12-05 839
MapReduce流程、任务数设置 一、MapReduce中combiner和partitioner的作用 Combiner：Map端按key聚合，以减少Reducer提取数据的传输负载 Partitioner：如果ReduceTask>1，Partitioner决定键值进入哪个Reducer 二、MapReduce的整体流程 1、XxxInputformat获取InputSplit[]和RecordReader 并发启动MapTask(一个InputSplit一个MapTask) 2、Map
presto group by 注意事项
BD_fuhong的博客
09-02 990
1 --渠道方进件数 select a.etl_date ,if(b.platform_nm='风豹科技' ,'风豹','自有资产') ,count(a.loan_id) as c1 ,count(case when a.intorisk_state=10190 then 1 else null end) c2 ,count(case when a.intorisk_state=10210 then 1 else null end) c3 from ( select * from edw_dwd
ds presto db的groupby语法
最新发布
09-25
在 Presto DB 中，`GROUP BY` 子句用于将行按指定列分组，常与聚合函数（如 `COUNT()`, `SUM()`, `AVG()`）结合使用。其核心语法结构为： ```sql SELECT column1, aggregate_function(column2) FROM table_name ...
presto中的group_concat
08-16
在Presto中，`group_concat`函数用于将一个分组中的多个值连接成一个字符串。它接受两个参数：要连接的列和可选的分隔符。 例如，假设我们有一个`employees`表，包含以下数据： ``` +----+-------+ | id | name | ...
【大数据】Presto开发自定义聚合函数
时光、疏离了记忆づ童话的博客
10-06 1864
Presto 在交互式查询任务中担当着重要的职责。随着越来越多的人开始使用 SQL 在 Presto 上分析数据，我们发现需要将一些业务逻辑开发成类似 Hive 中的 UDF，提高 SQL 使用人员的效率，同时也保证 Hive 和 Presto 环境中的 UDF 统一。 1、Presto函数介绍 在此之前先简单介绍下UDF和UDAF，UDF叫做用户自定义函数，而UDAF叫做用户自定义聚合函数，区别就在于UDF不会保存状态，一行输入一行输出，而UDAF会涉及到状态的保存，通过聚合多个节点的数据来转换为最终的输
sql中 group by多个字段，对所有字段做group by
Java后端技术栈
04-24 2518
如果还是做聚合的操作的话，和两个group by的原理是一样的，都是分别进行拆分。但是本质上还是对A列先进行拆分，分为1和2两个元素，针对1和2在进行拆分，1对应的B列有a和b，然后B列中的a也有甲乙两个字段。先对B列进行拆分，拆分成a，b两个，然后分别针对a和b进行拆分。a对应所有的C的字段a-甲，a-乙，b也是同理。首先是大家都明白的一个group by操作，用B做group by的条件，a一共有4个，b一共有6个。其实就是做了两次聚合，如下例子，先对B列做一个聚合，再对C列做一次。
presto-----grouping(判断分组字段)
LeFran的博客
09-03 1546
grouping判断分组函数 grouping grouping grouping(判断分组字段): 主要是用于判断结果是否按照某个或某几个字段的分组操作 grouping 返回一个转换为十进制数字的二进制数值集合，指示分组中存在哪些列。 它必须与GROUPING SETS，ROLLUP，CUBE或GROUP BY结合使用，并且其参数必须与相应的GROUPING SETS，ROLLUP，CUBE或GROUP BY子句中引用的列完全匹配。 对于给定的分组，如果分组中包含相应的列，则将位设置为0，否则将其设
presto与hive字符串常用操作（字符串截取、字符串拼接、字符串分割）
热门推荐
别说话写代码的博客
07-24 1万+
1、字符串截取substrpresto： substr(string, start, length) → varchar 如： select substr('1599319787151',1,10) 功效：返回字符串A从下标start位置开始，长度为len的字符串 substr(string, start) → varchar 如： select substr('1599319787151',1) 功效：返回字符串A从下标start位置到结尾的字符串 ps：对String来说，...
11g 一个sql案例 hash group by
敖尔其楞的专栏
11-27 2804
处理了一个sql导致的告警问题，这个sql本身的写法是有问题的，这个sql有2个执行计划一个好的，一个不好的，好的执行计划是谓词反馈后，确定了正常的结果集，抛出语句的本身问题，看下oracle是怎么搞错的错误的执行计划 SQL_ID 9z2dtfxqun0xp, child number 5 ------------------------------------- select * from (
层级查询高级用法, 执行计划hash group by--工作备忘2016/02/02
Richie's 残酷舞台
02-04 2980
1、
presto高级用法(grouping、grouping sets)
Darling博客
08-18 1399
cube(city, sex, hobby) 等价于 grouping sets (city, sex, hobby, (city, sex), (city, hobby), (sex, hobby), (city, sex, hobby), ())rollup (city, sex, name) 等价于 grouping set((city, sex, name), (city, sex), city, ())city=北京, sex=null, cnt=1。0,1 只跟city有关。
group by的工作原理和优化思路
许诗宇的博客
05-28 1381
目录 引入 group by 原理分析 group by 的简单执行流程 临时表的排序是怎样的呢？ where 和 having的区别 where + having 区别总结 使用 group by 注意的问题 group by一定要配合聚合函数使用嘛？ group by 后面跟的字段一定要出现在select中吗？ group by导致的慢SQL问题 group by的一些优化方案 group by 后面的字段加索引 order by null 不用排序 尽量只使用内存临时表
group by hash join优化案例
蘑菇丁的专栏
03-28 1866
原本有两个表，其中一个表的数据是150W 另一个表的数据是15W，他们两个hash join后花费的时间很长，后改成半连接后性能明显提升不少 SQL> conn hxy/hxy as sysdba Connected. SQL> create table t1 as select * from dba_objects where rownum Table created. SQL> cr
presto支持group_concat
qq_34819372的博客
02-26 1523
【代码】presto支持group_concat。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值