Kylin基础优化

最新推荐文章于 2022-10-29 21:29:18 发布
最新推荐文章于 2022-10-29 21:29:18 发布
阅读量766 收藏 1
点赞数
分类专栏： 数据技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Gospelanswer/article/details/88928917
版权
本文介绍了Kylin在多维分析中的应用，强调了维度优化对性能的重要性。重点讲解了如何通过设置强制维度、层级维度、联合维度、扩展列和聚集组来提升查询效率。此外，还提到了HBase Rowkey顺序优化以及解决内存问题的配置建议。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一 Kylin的使用场景

二 Kylin的使用指南

三 Kylin的维度优化

2 设置强制维度

3 设置层级维度

4 设置联合维度

5 设置Extended Column

四 其余方面优化

一 Kylin的使用场景

Kylin的主要应用场景在于多维分析。在进行多维CUBE构建的时候维度是影响其性能的主要因素，需要注意的是目前Kylin虽然对维度数量不做限制，但是对生成的cuboid数有相应的限制，最大不会超过1024个，所以建议维度不要超过30个，维度基数不要太大，个人建议千万级内。

二 Kylin的使用指南

Kylin的相关使用指南可以直接查看Kylin的官档

三 Kylin的维度优化

其实维度的优化目的是消除多余的无用的维度组合，从而达到计算快，查询快的目的。目前Kylin的维度优化主要有以下几种方式

1 设置强制维度

强制维度是指每次查询必带的维度，比如时间分区。这种情况下可以把时间设置为强制维度

2 设置层级维度

层级维度一般应用在具有层级关系的情况下，比如省市区，这种情况下设置为层级维度，会减少不必要的计算

3 设置联合维度

联合维度一般是应用在同级关系代表一个维度的情况下，例如省ID，省名称

4 设置扩展列(Extended Column)

Extended Column和联合维度类似，但是如果设置为Extended Column，Extended Column不能作为查询条件，其优点就是在联合维度和层级维度都涉及两个维度的情况下，可以

最低0.47元/天 解锁文章
大数据Kylin（一）：基础概念和Kylin简介
Lansonli（蓝深李）的博客
02-10 1945
对于Hive中的维度表和事实表，根据我们指定的维度列来构建cube，cube是所有维度的组合，任一维度的组合称为cuboid，即：cube中包含所有的cuboid。正规化也是一种比较复杂的过程，相应的数据库结构设计、数据的 ETL、以及后期的维护都要复杂一些。MOLAP （Multidimension OLAP）： MOLAP支持数据的多维视图，采用多维数据组存储数据，它把维映射到多维数组的下标或下标的范围，而事实数据存储在数组单元中，从而实现了多维视图到数组的映射，形成了立方体的结构。
使用Apache Kylin进行OLAP分析：基础与高级操作
最新发布
2401_85639015的博客
07-31 680
Apache Kylin 是一个高性能的开源分布式分析型数据库，旨在解决大数据环境下的多维数据分析需求。多维数据建模：支持多维数据建模，允许用户创建立方体以加速查询。分布式计算：基于 Hadoop 和 HBase，支持大规模数据的分布式计算。高性能查询：通过预计算立方体，提高查询性能，支持秒级响应时间。Kylin 支持自定义计算逻辑，可以在创建立方体时指定自定义计算公式。源码示例Apache Kylin 是一个强大的 OLAP 分析平台，通过预计算数据立方体，能够在大数据环境中提供高速的查询响应。
二、kylin优化
zxf126126的博客
04-30 577
目录 1、为什么要优化 2、从哪些方面去优化 3、根据业务需求减少子Cube数目 4、避免高基维度参与太多维度组合 5、优化Hbase-RowKey，提高查询效率 6、其他优化方法 1、为什么要优化 （1）kylin主要通过空间换时间的方式来提高查询性能，但是如果cube的所有子cube（2的n次方-1 个）都构建出来，会占用很多计算和存储资源，并且很多子cube的...
kylin的高级优化配置
菜皮的默默倾诉
05-25 500
http://lxw1234.com/archives/2017/04/849.htm 就当是mark一下了
kylin入门到实战：入门
u013221557的博客
11-16 445
1.概述 kylin是一款开源的分布式数据分析工具，基于hadoop之上的sql查询接口，能支持超大规模的数据分析。响应时间在亚秒级别，其核心是预计算，计算结果存放在hbase中。 2.特性 可扩展超快OLAP引擎: Kylin是为减少在Hadoop上百亿规模数据查询延迟而设计Hadoop ANSI SQL 接口: Kylin为Hadoop提供标准SQL支持大部分查询功能交互
kylin维度优化
MR_REN019235的博客
10-22 298
https://blog.youkuaiyun.com/c929833623lvcha/article/details/81772928
Kylin基础应用及优化
我的祖传代码
06-24 1934
目录 1.Apache Kylin概述 1.1 apache kylin的工作原理 1.1.1 维度和度量简介 1.1.2 Cube和Cuboid 1.1.3 工作原理 1.2 apache kylin的技术架构 1.3 apache kylin的主要特点 2 快速入门 2.1 核心概念 2.1.1 数据仓库，OLAP与BI 2.1.2 维度和度量 2.1.3 事实表和...
贝壳Kylin性能优化：HBase挑战与解决方案
这些优化策略不仅解决了当前的性能瓶颈，也为应对未来更大的查询负载提供了稳定的基础。通过持续监控、调整和优化，贝壳能够确保Kylin在满足高并发查询需求的同时，保持高效稳定的运行状态。这一实践对于其他大型...
KYLIN 建模设计学习总结（概念、空间优化、查询性能优化）
过了这个村没这个老王的博客
11-11 1720
KYLIN 建模设计学习总结 昨日Kyligence的老师对kylin建模进行了培训，基于Kyligence Cloud，除了界面以及商业特性，其他方式与开源版apache kylin 基本相同。 模型（model） ​ 模型是一个语意层的设计，在数仓之上，各种BI工具之下。构建一个模型需要一张事实表，可以有多张维度表，并通过列进行inner\left join。 ​ 模型中的维度、度量，基本可以理解为描述事物的角度（地区、客户号），以及指标（身高、销量）。用来对应一种场景下的所有查询的可能性。
Apache Kylin 高基数维度处理 以及 其他优化
恩特尔派
06-20 3107
第一个问题：在Tableau中显示的度量值如果是SUM计算，那么在Hive中最好使用的字段类型为decimal(20,0)，避免使用int以及bigint。 第二个问题：高基数维度的Cube在构建过程中报错，GC limite exceeded 以及java.lang.OutOfMemoryError: Java heap space,需要在~/conf/kylin_job_conf.xml中添...
如何用Apache Kylin让Hive表查询提速千百倍
07-02
如何用Apache Kylin让Hive表查询提速千百倍如何用Apache Kylin让Hive表查询提速千百倍如何用Apache Kylin让Hive表查询提速千百倍
Kylin - 剪枝优化及其方法
Sha0w的博客
04-27 4049
为什么要进行剪枝优化？在没有采取任何的优化措施的时候，Kylin会对每一个维度组合进行预计算，若有4个维度，则会有将近2^4 = 16个Cuboid需要进行计算。但是我们知道很多维度是： 1.不需要参与计算或者说不常用的 2.与其他的维度有一定的包含关系的 3.一定会跟其他维度一起进行查询的如果有10个维度那会有2^10=1024个Cuboid需要进行计算，虽然每个Cuboid的大小存在很大的差
kylin原理介绍以及优化措施
summer089089的博客
12-07 897
1.Kylin是什么? Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。 Apache Kylin™ 令使用者仅需三步，即可实现超大数据集上的亚秒级查询。 定义数据集上的一个星形或雪花形模型 在定义的数据表上构建cube 使用标准 SQL 通过 ODBC、JDBC 或 RESTFUL API 进行查询，仅需亚秒级响应时间即可获得
kylin 维度优化，Aggregation Group，Joint，Hierachy，Mandatory等解析
chenguangchun1993的博客
12-04 3848
众所周知，Apache Kylin 的主要工作就是为源数据构建 N 个维度的 Cube，实现聚合的预计算。理论上而言，构建 N 个维度的 Cube 会生成 2n2^n个 Cuboid， 如图 1 所示，构建一个 4 个维度（A，B，C, D）的 Cube，需要生成 16 个Cuboid。随着维度数目的增加，Cuboid 的数量会爆炸式地增长。为了缓解 Cube的构建压力，Apache Kylin
Apache Kylin优化篇之联合维度(Joint Dimension)
微溪
03-18 2911
       kylin作为OLAP查询最好的工具之一，但在kylin构建维度时，会生成很多不必要的维度cube，造成维度爆炸，占用大量的存储空间，为了缓解 Cube 的构建压力，减少生成的 Cuboid 数目，Apache Kylin 引入了一系列的高级设置，帮助用户筛选出真正需要的 Cuboid，本文主要介绍kelin维度优化配置–联合维度（Joint ...
Kylin (六) --------- 查询性能优化
在森林里麋了鹿
10-29 1141
Kylin 查询性能优化
kylin 优化
bigdataf的博客
11-08 685
简介 kylin sql的执行会在所使用的维度列在cube中选择最合适的cuboid，以最大程度节省查询时间，一个Cuboid对应着一组分析的维度，并保存了度量的聚合结果。Cube就是所有Cuboid的集合，每个节点代表一个Cuboid，每一种维度的组合，将度量做聚合运算，然后将运算的结果保存为一个物化视图，称为Cuboid。所有维度组合的Cuboid作为一个整体，被称为Cube。可以理解为，一
Kylin 参数优化经验
hysfwjr的专栏
01-16 1330
目录 优化前 OOM 执行时间过长 优化前 kylin执行构建如果因为OOM等原因运行失败后，调整配置参数，无需从头开始构建，kylin有个牛x的功能叫恢复执行，可以从失败的阶段开始重新执行，笔者之前不知道有这个功能，都是重头开始构建，执行到失败的步骤运行时间又很长，试错成本特别高。 OOM Build Cube with Spark阶段OOM 设置参数kylin.en...
kylin的维度组合
king_hui719的博客
08-17 1553
kylin的维度组合默认的是2^n；但是在实际场景中简单的使用这种计算方式去计算生成的维度组合，对于维度数来那个超过40个的，那么生成的cubeId的数量是4096；如果维度的数量超过这个值，那么在构建和存储集查询方面都可能存在问题，此文章从以下四个层次来管理dinmensions:【以下所有的设置都是基于各司的业务设置，非通用模版】 设：共有维度10个维度：分别为A,B,C,D,E,F...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值