Light DB 内存数据库用于报表分析

QQ:40633

概述测试环境测试内容测试结果

概述

随着商业智能与大数据应用的发展，数据的价值越来越受到重视。针

对大数据量的分析与统计，存在各种解决方案，包括：传统数据库，   mysql，NOSQL，开源内存数据库，HADOOP，以及专业BI解决方 案等。 

上述各类方案各有自身的优势，同时也存在着一些不足，如性能瓶

颈，使用和维护成本，对复杂多维数据的分析能力不足等。                                                     

可用性，实时性，可靠性，低成本是用户能开展有效的数据分析的基础条件。  

本文基于果业生产销售的真实数据结构，对LightDB的单机海量数据

多维统计进行了测试，以供读者参考。              

概述测试环境测试内容测试结果

测试环境

LightDB服务器配置

模块	配置
CPU	Intel(R)Xeon(R)CPUE5-26200@2.00GHz 数量：2 核数：2*6=12 线程数：2*12=24
内存	64GB
硬盘	2TB

概述测试环境测试内容测试结果

 

字段	描述	统计纬度
省	种植户所在省	是
市	种植户所在市	是
县	种植户所在县	是
镇	种植户所在镇	是
村	种植户所在村	是
户	种植户姓名	是
大类	果品种类	是
子类	果品子类	是

 

字段	描述	统计纬度
质量	质量品级	是
认证	产品认证	是
客户	客户类别	是
估产日期	集中在每年3-5月	是
出产日期	集中在每天10月	是
填报日期		是

 

字段	描述	统计纬度
估产	质量品级
实产	产品认证
产值	客户类别
销量	集中在每年3-5月
价格	集中在每天10月
成熟期
备注

统计要求

统计维度要求：六级地域，两级分类，质量品级，产品认证，客户类别，估产日期，生产日期，填报日期共8个大维度，14个小维度。 

计算要求：对估产数量，实际产出数量，产值，以及销售量进行汇总。

统计条件：任意设定多个维度

统计方式：总计，一维统计（任意设定），二维统计（任意设定）

总数据量

一亿三千七百六十万条记录 – 137,600,000

 

概述测试环境测试内容测试结果

数据样本举例

原始数据文件

全国数据汇总统计

全国数据一维统计 – 按省统计

 

全国数据二维统计 – 按省和质量统计

 

省级汇总统计 – 河北省  

省级一维统计 – 按市统计

 

省级二维统计 – 按市和产品认证统计

 

市级汇总统计 – 河北省石家庄市

 

市级一维统计 – 按县统计

 

市级二维统计 – 按县和客户类别统计

 

县级汇总统计

县级一维统计 – 按镇统计

 

县级二维统计 – 按镇和类别统计

 

更多统计条件 – 省，市，县，镇，质量，客户类别 –按产品认证统计

 

测试汇总

测试内容	耗时（单位：毫秒）		测试内容	耗时（单位：毫秒）
全国汇总	798		市级二维	7
全国一维	842		县级汇总	1
全国二维	885		县级一维	1
省级汇总	33		县级二维	2
省级一维	36		更多统计条件	<1
省级二维	36		记录总数	一亿三千七百六十万条
市级汇总	8		原始数据文件	20G
市级一维	8		统计维度	8维（+级别=14）

谢谢!