TERADATA group by和distinct去重比较

最新推荐文章于 2023-04-27 18:26:35 发布
转载 最新推荐文章于 2023-04-27 18:26:35 发布 · 516 阅读 · 1

本文探讨了在Teradata数据库中使用GroupBy与Distinct进行去重操作的性能差异。通过实验证明，在重复数据较少的情况下，Distinct比GroupBy更高效；而在重复数据较多时，GroupBy则表现更好。

重复记录多选择group by，重复记录少选择distinct：

因为teradata中group by的机制是先在每个amp执行group by操作，然后执行总的group by操作，这样重复的数据就会在重分布前被过滤掉，并且如果每个重复的数据量多，需要进行重分布的量就会大大减少，从而大幅度提高性能。 反之，由于group by需要两次排重操作，如果重复的数据很少，性能就会很差。相反，由于distinct仅在重分布之后进行排重操作，因此适合于重复量很少的去重操作。

测试：在一个有5.3亿条记录的表中，有重复记录大概8.5万条，重复率不算很高。同样的语句group by 用了41分钟，distinct只用了30分钟，明显distinct更快。对于重复率高的，就没有做测试比较，理论上group by快应该不会假的。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/9999499/viewspace-615358/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/9999499/viewspace-615358/

cuixie1876
关注
大数据运维存档（8）数仓构建与Hive实现常识整理、生产中调优
Big_data_implicit_
12-27 5624
目录 一、数仓基础 1、数仓基本介绍 1.1、数仓基本概念 1.2、数仓的定义 1.2.1、面向主题 1.2.2、集成性 1.2.3、稳定性 1.2.4、时变性 1.3、数据仓库与数据库的区别 1.4、构建数仓常用手段 1.5、数仓分层 1.5.1、数仓分层描述 1.5.2、为什么要进行数仓分层 1.6、获取数据 1.7、同步策略 2、数据仓库建模 2.1、范式建模法（Third Normal Form 3NF） 2.2、维度建模法 2.2.1、维度表 2.2.2、事
信创改造mysql迁移达梦遇见的问题，及解决方案
最新发布
Miss_SunHengYang的博客
07-09 2400
信创改造mysql迁移达梦 兼容问题，及解决方案
teradata DISTINCT vs GROUP BY
wali_wang的博客
01-11 1559
**(–本文是个人学习和使用过程中的总结，如有错误欢迎指正。转载请注明出处)** 常听到有关teradata中DISTINCT和GROUP BY那个性能更好的问题，是应该用 SELECT COLUMN GROUP BY 1 还是 SELECT DISTINCT COLUMN呢？ 为了确定什么情况用DISTINCT，什么情况用GROUP BY，首先我们应该理解两者的工作方式。 **DISTINCT ：**数据会
group by，having，order by小结--teradata数据库
中关村村长的专栏
12-17 7904
Group By利用GROUP BY和聚合函数可以实现分组累计。举例来说，如果要求显示各个部门的薪水合计，可以使用下面的语句。SELECT department_number,SUM (salary_amount)FROM employeeGROUP BY department_number; 结果： department_number Sum(salary_amount)401 74150.00
【Teradata】grouping和rollup窗口函数
weixin_30702413的博客
02-20 423
1.group by后带rollup子句 先按一定的规则产生多种分组，然后返回各个分组所产生的结果集的并集，且没有去掉重复数据（统计出的数据是求和还是最大值还是平均值等这就取决于SELECT后的聚合函数）。下面举例说明： 例1：Group by rollup(A ,B) //返回如下3个分组的统计结果集的并集，且未去掉重复数据。 第一种：group by A,B 第二种：g...
mysql group by 更快_MYSQL group by 怎么能快一点，之别一根筋
weixin_36299242的博客
01-20 777
一般来都有这样一个说法，MYSQL 表的数据超过500万行就不行了，而在这个说法之后就是MYSQL 的group by 的性能奇差无比。如果要用一句话来说，你把MYSQL 当其他数据库用了(PG, SQL SERVER ,ORACLE)，所招致的结果。select last_name,count(*) from employees where hire_date between '1990-01-...
mysql group by 更快_MySQL中distinct和group by性能比较
weixin_30146171的博客
01-20 386
MySQL中distinct和group by性能比较[转]之前看了网上的一些测试，感觉不是很准确，今天亲自测试了一番。得出了结论(仅在个人计算机上测试，可能不全面，仅供参考)测试过程：准备一张测试表1CREATE TABLE `test_test` (2 `id` int(11) NOT NULL auto_increment,3 `num` int(11) NOT NULL...
如何从Teradata迁移到Greenplum（下篇）
Greenplum中文社区
07-09 881
在如何从Teradata迁移到Greenplum（上篇）中，向大家介绍了Teradata产品和用户面临的问题、从Teradat...
【Teradata数据分区：数据访问优化术】：存储与访问的最佳实践
本文旨在系统性地探讨Teradata数据分区的基础概念及其在数据访问优化中的应用。首先介绍了数据分区的必要性与优势，分区策略与数据分布，以及分区键的选择原则和分区类型。接着，文章深入讨论了实现数据访问优化的...
【TeraData OLAP与分析优化】：提升分析性能的5个高级技术
通过阐述性能评估的理论基础和实践中的工具与技巧，文章展示了如何有效识别和解决性能瓶颈。随后，文章探讨了数据模型设计原则、数据分区与压缩技术的应用，并通过案例分析展示了优化策略的实施。查询优化部分详述了...
hive窗口函数——ROW_NUMBER()来去重，和rank()、dense_rank()的区别与teradata中row_number()去重
yyf960126的博客
03-25 7095
原文：https://www.cnblogs.com/wujin/p/6051768.html row_number()、rank()、dense_rank()三个函数相当于group by 之后再来个order by 上实例 id name sal 1 a 10 2 a 12 3 b 13 4 b 12 5 a 14 6 a 15 7 ...
TeraData函数小结
沉迷数据无法自拔
11-05 8805
--系统当前日期 current_date ; --系统当前时间 current_time ;
Mysql中group by和distinct效率的比较
weixin_45017098的博客
04-27 1244
在Mysql中，group by和distinct两者都可以用于去除重复数据。但是它们的实现方式不同，因此在效率上也存在差异。group by的执行速度快于distinct是在较老版本的Mysql中才存在的现象，而在较新版本中，distinct的执行速度已经赶上并超过了group by。在实际开发中，我们需要根据具体的需求选择适合的去重方法，以提高查询效率和性能。
Teradata TPT(Teradata Parallel Transporter)使用
flying roc
11-17 1812
通过参数传递比较麻烦生成新的tpt文件也比较麻烦因此有没有不需要定义源表结构？目前好像都需要定义表结构。
Teradata SQL用法之排名和分页
dare to be first
05-22 3029
1. 选取排序后的前N条记录  Sql代码  select top 3 e_name from ptemp.cuishen_temp_20100707  order by id   Sql代码 select top 3 * from ptemp.cuishen_temp_20100707  order by id   2. 用rank给
MySQL去重
我只是心态好
11-25 483
distinct简单来说就是用来去重的，而group by的设计目的则是用来聚合统计的，两者在能够实现的功能上有些相同之处，但应该仔细区分，因为用错场景的话，效率相差可以倍计。 单纯的去重操作使用distinct，速度是快于group by的。 distinct            distinct支持单列、多列的去重方式。             单列去重的方式简明易懂，即相同值只保留1个...
SQL根据某列或几列分组去重——row_number() over(partition by)的用法
热门推荐
wbj3106的博客
08-27 4万+
SQL中的分组去重——row_number() over(partition by)
【Oracle】SQL 数据求交集 去重 性能 join, union, unionAll, distinct, ROWID, ROW_NUMBER() OVER(PARTITION BY ...)
许恒的博客
01-07 1348
    http://www.w3school.com.cn/sql/sql_union.asp SQL UNION 和 UNION ALL 操作符 SQL Full Join SQL Select Into SQL UNION 操作符 UNION 操作符用于合并两个或多个 SELECT 语句的结果集。 请注意，UNION 内部的 SELECT 语句必须拥有相同数量的列。列也必须拥有...
teradata group_concat
08-30
Teradata does not have a built-in function called `GROUP_CONCAT` like some other databases do. However, you can achieve similar functionality by using the `COLLECT` and `ARRAY_AGG` functions in Teradata. The `COLLECT` function is used to aggregate values into an array. For example, if you have a table with a column called `value`, you can use the `COLLECT` function to aggregate all the values into an array: ``` SELECT COLLECT(value) AS concatenated_values FROM your_table; ``` The `ARRAY_AGG` function is similar to `COLLECT` but works on a set of rows. For example, if you have a table with columns `id` and `value`, you can use `ARRAY_AGG` to group values by `id` and aggregate them into arrays: ``` SELECT id, ARRAY_AGG(value) AS concatenated_values FROM your_table GROUP BY id; ``` These functions can be useful for concatenating values within a group in Teradata.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值