OLAP引擎——kylin介绍

OLAP引擎是一种计算机处理技术,专门设计用于支持复杂的分析操作,并侧重于对决策人员和高层管理人员的决策支持。它基于数据仓库的多维模型,并实现了面向分析的各种操作的集合。OLAP技术主要用于多维数据分析和数据挖掘,通过提供多维数据模型和多维查询功能,帮助用户从不同角度和层次上对数据进行分析和查询。

OLAP引擎是数据仓库对外数据能力的一种重要输出方式,它为用户提供拖拽式的数据分析操作页面,以及各种报表、图表的展示。OLAP引擎也是数据仓库系统中的一部分,用于存储和管理数据,并提供了高性能的查询和分析功能。

OLAP引擎的选择也决定着底层数仓的建设选型,因为不同引擎的存储数据原理、支持数据量级、查询性能、适用场景等都有很大区别。引擎的选择也影响了数据仓库的建设方式,包括数据建模、数据时效性、延迟容错和机器资源等方面。

在市场上,有很多主流的OLAP引擎,如Hive、Presto、Druid、Clickhouse、Kylin、Sparksql和Greeplum等。这些引擎都有各自的特点和优势,用户可以根据实际需求选择合适的引擎。

OLAP引擎通过多维数据模型和多维查询语言来实现面向分析的各种操作。多维数据模型是一种数据结构,它以事实表和维表的形式表示数据,并使用星型模式或雪花型模式进行存储。这种模型能够方便地表示数据的层次结构和汇总信息,并且能够快速地执行各种分析操作。

OLAP查询语言(如MDX)是一种高级查询语言,用于对多维数据进行查询和操作。通过MDX查询,用户可以方便地对多维数据进行切片、切块、钻取、旋转等操作,并获取所需的数据和信息。OLAP引擎通过解析MDX查询并执行相应的操作,快速返回结果,使用户能够快速地分析和理解数据。

此外,OLAP引擎还提供了各种优化技术,如位图索引、物化视图、缓存技术等,以提高查询性能和响应速度。这些技术有助于处理大规模数据集,并快速返回分析结果。

Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表,主要通过预计算的方式将用户设定的多维立方体缓存到HBase中。<

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值