皕杰报表与阿里ADS分析数据库兼容测试

    近期有客户需要皕杰报表与阿里ads分析型数据兼容情况的测试,为此,我方专门租用了阿里ADS分析数据库,做了皕杰报表与阿里ADS分析数据库的兼容性测试:

(1)、皕杰报表版本:皕杰报表V5.0-final-r3

(2)、ADS数据库:

     地址:jdbc:mysql://bijetdb-c1ce16fe.cn-beijing-1.ads.aliyuncs.com:10239/bijetdb

           用户名:LTAIzHhtm9jSTDS8 

        密码:FviPE07B6A2BSGRWZKhQzA6gp3sPQe

        选用JDBC驱动包:mysql-connector-java-5.1.44-bin.jar

 

阿里ADS数据库的情况简介

(1)、阿里ADS数据库是基于mysql修改的,与普通的DBMS相比多出了一个“表组”的概念。阿里没有针对ADS提供单独的jdbc驱动,还是使用mysql的jdbc驱动。由于阿里修改了mysql数据库的内核部分,在我方使用mysql的jdbc驱动测试时,发现mysql的jdbc驱动与ADS兼容有些小问题。

(2)、阿里ADS数据库的表分成事实表和维表,其中,事实表分为批量表和实时表。维度表可以和任意表组的任意表进行关联。

(3)、实时表创建时必须有主键,至少要指定一级分区列和相关分区信息,且指定存放在一个表组中。

(4)、批量表,只能从阿里的其它系统如MaxCompute(原ODPS)产出的数据结果离线导入到数据库中,不能用insert等方式插入数据。

(5)、实时更新的表,可以直接insert/delete单条数据(也不支持批量insert),适合业务系统直接写入数据,不支持odps批量load。

(6)、阿里ADS数据库不支持读写事务,并且数据实时更新时一分钟左右才可查询。

(7)、另外,ADS好像有查询数据条数的限制(这个没有深入的了解)。

 

功能兼容测试用例情况

由于阿里ADS的批量表只能从阿里的其它系统(如MaxCompute)导入数据,所以没法测试“批量表与皕杰报表的兼容情况”。如下的测试用例全是采用的“实时表”:

 

编号

测试用例

测试状况

1

普通报表

通过

2

填报报表

通过

3

柱图

通过

4

饼图

通过

5

线图

通过

6

散点图

通过

7

仪表盘图

通过

8

时序图

通过

9

雷达图

通过

10

简单查询报表

通过

11

查询表单

通过

 

性能测试

影响报表服务器的性能的因素有数据库的sql处理速度、数据的网络传输快慢和报表本身的计算速度这三方面。

皕杰报表经过10多年的不断雕琢和两千多个项目的验证,其性能是不存在任何问题的,影响报表服务器性能的主要还是数据库的sql处理速度和数据的网络传输。

另外,要获得准确的性能,需在一个接近业务场景的环境下进行测试。

但鉴于以下原因:

(1)、ADS是阿里的云端数据库,且不提供免费的测试版本,我方临时租用的ADS数据库版本配置较低,其性能也相对较差,很难真实反映数据库的真实性能。

(2)、我公司内部局域网带宽有限,数据传输受宽带带宽限制,很难测到真实的速度。

(3)、我公司内部办公网落传输不稳定性,影响报表与ADS数据库之间的传输。

因而,性能及压力测试的数据不能真实的表达阿里ADS的性能,建议贵方搭建一个接近业务真实的环境,来测试。

 

结论

皕杰报表在功能上完全兼容ADS的实时表,其它如批量表由于受到ADS的各种限制无法进行测试。如确实要用阿里ADS分析数据库,建议此部分由客户在建立接近业务条件的环境下进行测试。

 

深入解析数据仓库ADS层-从理论到实践的全面指南 探索ADS层的核心概念、设计原则和实现方法。学习如何构建高性能、安全可靠的数据应用层,包括星型模型设计、查询优化、增量更新等关键技术。掌握性能调优、数据生命周期管理和持续优化的最佳实践。洞察ADS层未来趋势:实时数据集市、机器学习集成、图数据模型和自然语言查询接口。无论您是数据工程师、分析师还是架构师,本文都将帮助您释放数据价值,支持精准决策。#大数据 #数据分析 阅读详情

相关推荐

12.数据仓库搭建之ADS层搭建

12.数据仓库搭建之ADS层搭建

Mmj666的博客 3747

AnalyticDB分析型数据库

AnalyticDB分析型数据库 本文初衷是为了学习归纳,若有错误,请指出。 修改记录 时间 内容 2020年9月13日 第一次发布 一、概述 1.1 定义 ​ 分析型数据库AnalyticDB(原名 ADS)是阿里巴巴针对海量数据分析自主研发的实时高并发在线分析系统,可以针对万亿级别的数据进行多维度分析透视和业务探索。采用分布式计算,具有强大的实时计算能力。 1.2 特点 ​ 主要特点就是实时和高并发,可以针对万亿级别的数据进行多纬度分析透视和业务探索。 兼容MySQL、B

qq_33439938的博客 5111

数据仓库和数据集市详解:ODS、DW、DWD、DWM、DWS、ADS

@TOC 数据流向 应用示例 何为数仓DW Data warehouse(可简写为DW或者DWH)数据仓库,是在数据库已经大量存在的情况下,它是一整套包括了etl、调度、建模在内的完整的理论体系。 数据仓库的方案建设的目的,是为前端查询和分析作为基础,主要应用于OLAP(on-line Analytical Processing),支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。目前行业比较流行的有:AWS Redshift,Greenplum,Hive等。 数据仓库并不是数据的最终目的地

weixin_42526326的博客 1万+

阿里云数据中台核心引擎

数据中台、阿里数据中台、产品+技术+方法、数据仓库、OLTP&OLAP

hsabrina的博客 4010

离线数仓01-用户行为日志采集平台

1 数据仓库项目 1.1 数据仓库概念 数据仓库(Data Warehouse)①日志采集系统②业务系统数据③爬虫系统等获得的数据进行清洗、转义、分类、重组、合并、拆分、统计等操作。 1.2 项目需求 用户行为数据采集平台的搭建(前端埋点日志数据) 业务数据采集平台的搭建(MySQL业务数据) 数据仓库维度建模(hive数据分层:ods、dwd、dws、dwt、ads) 即席查询工具,随时进行指标分析(es、kibana) 集群性能监控 元数据管理 质量监控 2 架构设计 2.1 技术选型 数据采集传

qq_43523503的博客 570

ads-lh-6.5.7-万能数据库连接工具

ads-lh-6.5.7-万能数据库连接工具

大型数据仓库迁移

大型数据仓库迁移

qq_46683713的博客 1009

PTGui使用教程

PTGui使用教程为啥使用ptgui开始使用ptgui 为啥使用ptgui ptgui是一个全景拼接软件,在海思hi3559上做视频拼接的时候,需要拼接参数,这是就需要使用到ptgui,这里可以在该网站下下载ptgui:下载地址 开始使用ptgui 第一步,加载图片,我这里添加了三幅图 然后添加控制点(可以先多对准几次图像,这样会自动生成一些控制点,但是不保证准确),建议控制点不要太密集 点开镜头设置,勾选以下几个选项以及配置好镜头类型,如下图 点开优化器,在高级界面中配置如下参数,最后点

what_wrong的博客 1万+

数据仓库架构演进:为什么99%的企业还在用Hive?

本文探讨了数据仓库架构从混沌到有序的演进历程,重点分析了分层架构(ODS/CDM/ADS)的核心价值与技术实现。对比了Hive与Doris在实时查询、存储格式等方面的优劣,以及云原生架构的降本增效能力。针对实时与离线协同场景,剖析了Lambda/Kappa架构的局限性及混合架构解决方案。最后展望AI驱动治理与数据资产化趋势,涵盖智能质检、联邦学习等创新实践。

atbigapp的博客 775

python实现ECMS算法

ECMS(Equivalent Consumption Minimization Strategy)算法是一种用于混合动力汽车能量管理系统的优化策略。它通过计算等效油耗来平衡电池电量消耗和燃油消耗,从而优化整体能耗。以下是一个简单的Python实现,用于演示ECMS算法的基本思想。这个实现假设了一个简单的混合动力汽车模型,其中电池电量和燃油消耗是主要的优化目标。

weixin_45570158的博客 922

Dell R730安装Windows Server 2008 R2

一、RAID驱动准备  在安装Windows server2008 R2操作系统时,如果没有发现硬盘,请将下面的阵列卡驱动先解压(在下载的.exe文件,双击点下一步会自动解压),解压后把那文件夹复制到U盘中。阵列卡 PERC9 H330 - H730 - H730P - H830 Controllers for Windows Server 2008 R2二、系统安装方法方法一:光盘安装  ①请您...

MarshLin 2万+

滴滴级数据仓库实战:从分层架构到流批一体的核心设计与实现

数据仓库作为企业数据资产的核心载体,其核心原理在于通过ETL(抽取、转换、加载)流程,将分散的业务数据整合为统一、规范、面向分析的数据模型。其技术价值在于打破数据孤岛,为数据分析、商业智能和决策支持提供高质量、可信任的数据基础。典型应用场景包括业务报表、用户画像、实时监控和机器学习等。本文以滴滴出行的海量实时数据处理为背景,深入探讨了如何构建高可用、高性能的数据仓库体系,其中涉及分层建模、流批一体架构等关键实践,并重点解析了在应对高并发和复杂业务场景时,如何通过Flink实时计算和Kafka消息队列等技术组

weixin_30607029的博客 469

Unity集成抖音小游戏:从IL2CPP配置到SDK接入全流程解析

本文详细解析了使用Unity开发抖音小游戏的完整流程。从关键的IL2CPP编译后端配置、PlayerSettings设置,到StarkSDK的接入与资源优化(如AutoStreaming),再到激励视频广告、录屏分享等核心功能的代码实现,提供了从环境准备到打包上传的全方位实战指南,帮助开发者高效完成技术适配。

weixin_27943395的博客 690

离线数仓搭建_01_数仓概念与项目框架说明

数据仓库( Data Warehouse ),是为企业制定决策,提供数据支持的。可以帮助企业,改进业务流程、提高产品质量等。

勇敢牛牛,不怕困难! 1903

Go-zero微服务实战:从零搭建电商用户系统(含完整代码示例)

本文详细介绍了如何使用go-zero框架从零搭建电商用户系统,包含完整的微服务架构设计、核心功能实现代码示例以及性能优化策略。通过分层架构设计、JWT认证、分布式锁等关键技术,实现高并发、高可用的用户系统,适用于电商平台开发。

weixin_29275257的博客 256

Mind+掌控板实战:5分钟搞定Easy IoT的MQTT通讯(附完整代码)

本文详细介绍了如何利用掌控板和Mind+图形化编程软件,快速实现基于Easy IoT平台的MQTT通讯。通过清晰的步骤讲解和完整的代码示例,指导用户完成从云端配置、Wi-Fi连接到MQTT消息发布与订阅的全过程,帮助初学者轻松构建物联网设备间的双向对话系统。

weixin_29300241的博客 446

tidb 企业_TiDB,日均千万级数据存储方案选型

SQL -> NoSQL -> NewSql ????原先的统计系统是基于mongodb存储和计算的,在考虑到之后接入新的广告系统,数据量预估会达到日均千万级别,以及更多纬度的统计和分析,和后续更多系统的接入,而且最好需要兼顾OLAP+OLTP,故此调整储存方案已经势在必行。方案对比MaxCompute(原opds)一开始是想要依托阿里的服务,这样可以减少大量的运维成本,阿里云上对此的描述为...

weixin_39558804的博客 1091

基于eBPF和LSM的强制文件访问控制系统架构设计和实现

本文介绍了一种基于 eBPF 与 Linux 安全模块(LSM)实现的强制文件访问控制系统。该系统利用 eBPF 的高性能和动态加载能力以及 LSM 的系统调用拦截功能,提供了灵活且强大的文件访问控制策略。文章详细描述了系统的设计思路、架构组成、关键代码实现及错误处理方式。通过用户空间程序与内核态 eBPF 程序的协作,实现了对文件操作的实时监控和控制,支持动态更新安全策略而无需重启系统。此外,文中还讨论了未来可能的扩展方向,如增加更多 hook 点、集成其他安全模块以及性能优化等。

Linux内核研究者 1839

Datax安装步骤及优劣势分析

Datax安装步骤及优劣势分析

大数据、数据仓库、数据治理、数据开发、数据库等相关数据方面经验分享~ 1204

笔试题-2023-乐鑫-数字IC设计【纯净题目版】

笔试题-2023-乐鑫-数字IC设计【纯净题目版】

w0shishabi的博客 1777

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

无缝集成 MySQL,解锁秒级数据分析性能极限

阿里妹导读在数据驱动决策的时代,一款性能卓越的数据分析引擎不仅能提供高效的数据支撑,同时也解决了传统 OLTP 在数据分析时面临的查询性能瓶颈、数据不一致等挑战。本文将介绍通过 AnalyticDB MySQL + DTS 来解决 MySQL 的数据分析性能问题。引言在应对大规模业务数据的在线统计分析需求时,传统数据库常常难以满足高性能和实时分析的要求。随着业务数据的不断累积,数据量迅速膨胀,虽然...

云祁QI 462

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

天猫国际通过Hologres进行排行榜的实时交互式分析

简介:本文将会为您分享天猫国际如何通过Hologres实现计算、存储、服务统一的实时交互式分析。 作者:景闻 阿里巴巴数据技术及产品部数据技术专家 一.业务背景 天猫国际营销活动分析实时排行榜是在大促中帮助业务快速的分析商家或者品牌的交易和流量的数据情况,给下一步大促的销售目标,流量蓄水等等做出运营决策;尤其是在活动当天当发现行业的问题之后,仅仅靠子行业的拆分不足以确定具体的问题,也不一定有具体的业务抓手,所以需要有到商家、品牌和商品粒度的数据来快速定位问题。 二.原技术方案 原始技术方案的.

阿里云云栖号 1914

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

天猫国际通过 Hologres 进行排行榜的实时交互式分析

一.业务背景 天猫国际营销活动分析实时排行榜是在大促中帮助业务快速的分析商家或者品牌的交易和流量的数据情况,给下一步大促的销售目标,流量蓄水等等做出运营决策;尤其是在活动当天当发现行业的问题之后,仅仅靠子行业的拆分不足以确定具体的问题,也不一定有具体的业务抓手,所以需要有到商家、品牌和商品粒度的数据来快速定位问题。 二.原技术方案 原始技术方案的架构如下图所示,可以看到是非常典型的Lambda架构,实时和离线分别是两套系统,离线数据通过MaxCompute(原MaxCompute)轻度汇总同步至M

数据库技术 1006

探秘DataX:高性能数据同步工具的秘密

探秘DataX:高性能数据同步工具的秘密 是阿里巴巴开源的一个强大且灵活的数据同步框架,它旨在解决大数据场景下的数据迁移问题。无论你是数据分析师、开发人员还是运维工程师,如果你需要在不同数据存储系统之间进行大规模数据传输,DataX绝对值得你关注。 项目简介 DataX的设计理念是“让数据迁移变得更简单”。它的核心是一个强大的调度系统和一系列插件,这些插件支持包括HDFS、MySQL、Oracle...

gitblog_00002的博客 705

HybridDB for MySQL 实现在线与离线数据分离的实践

摘要: 某知名企业的集团任务中心,为了保障在线数据库的性能和容量,降低总体数据存储成本,避免离线数据的使用影响在线数据的使用,希望将线上业务系统早期生成的数据转移到离线库进行保存。同时,离线海量数据对于业务分析和未来业务规划又有非常重要的价值,需要不定期的进行数据分析。迫切需要进行在线离线数据的分离。 本文将重点介绍HybridDB for MySQL 实现在线与离线数据分离的实践,特别

aikudemn的博客 5066

剑指大数据:企业级数据仓库项目实战(金融租赁版)读书笔记__大数据测试集群的服务器节点服务分配规划表__解读(附:技术选型清单、数据同步工具选择)

本文展示了一个由3台服务器(hadoop102/103/104)组成的大数据测试集群服务部署方案。核心架构特点包括: 角色分工明确:hadoop102作为主控节点(部署NameNode、MySQL等16项服务),hadoop103专管资源调度(含ResourceManager),hadoop104承担辅助功能(如SecondaryNameNode); 关键分布式服务(DataNode、ZooKeeper等)采用三节点部署确保基础功能; 采用非高可用模式(单NameNode/RM),适合测试环境;

木木的学习笔记 86
上一篇: 如何在皕杰报表单元格中显示特殊字符
下一篇: 报表工具群雄争霸,谁才是你的菜
raqer
博客等级 码龄17年 0粉丝 9原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值