性能优化技巧:后半有序分组

一、  问题背景与适用场景

什么是后半有序?如果数据集T已经按字段a、b有序,现在我们要将T按b排序或分组时,因为在a值相同的段内,b都是有序的,这种要排序或分组的字段在分段内有序的情况就称为后半有序。

我们知道,快速排序算法的原理就是一种递归的分段排序再归并的算法,对于后半有序这样的已经大体有序的数组,快速排序的速度已经能够很快。所以如果采用快速排序算法对T按b排序后,就可以使用《性能优化技巧:有序分组》中介绍的优化原理进行分组了。

SPL提供了后半有序分组方法,我们实例测试一下,并且与SPL和Oracle的hash分组算法作对比。

 

 

二、  测试环境与任务

测试机有两个Intel2670 CPU,主频2.6G,共16核,内存64G,SSD固态硬盘。在此机上安装虚拟机来测试,设置虚拟机为16核、8G内存。

在虚拟机上创建数据表sales,共四个字段:orderdate、area(字符串)、salesman(字符串)、amount(实数),生成数据记录10亿行。将此表数据导入Oracle数据库,同时用它生成集算器SPL组表来进行测试。

数据按orderdate、area、salesman字段升序排列,要求查询出各地区各销售人员的销售总额,也就是按area、salesman进行分组,结果集总共有100万组。由于Oracle输出这么多行结果需要很长的时间,所以对分组结果再进行一次过滤,只输出销售总额小于471000元的订单,结果只有11

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值