Kylin的cube模型

原创 已于 2023-06-01 10:59:47 修改 · 166 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kylin #数据库 #数据仓库 #大数据

于 2016-03-03 17:05:00 首次发布
本文介绍了数据仓库的概念，特别是OLAP、星形模式和Cube。详细阐述了Kylin中的Dimension类型，包括Normal、Mandatory、Hierarchy和Derived，并讨论了Measure的使用。通过实战示例展示了如何在Kylin中构建和查询Cube。

1. 数据仓库的相关概念

OLAP

大部分数据库系统的主要任务是执行联机事务处理和查询处理，这种处理被称为OLTP(Online Transaction Processing, OLTP)，面向的是顾客，诸如：办事员、DBA等。而数据仓库主要面向知识工人(如经理、主管等)提供数据分析处理，这种处理被称为OLAP(Online Analysis Processing)。OLTP管理的是当前数据，比较琐碎，很难用于做决策。而OLAP管理的是大量历史数据，提供汇总与聚集机制，并在不同的维度、不同的粒度存储和管理信息。

特征 OLTP OLAP
面向 办事员、DBA 知识工人
DB设计 基于ER，面向应用 星形/雪花，面向主题
数据 当前的、确保更新 历史的、跨时间维护
视图 详细、一般关系 汇总的、多维的
了解本专栏 订阅专栏 解锁全文
大数据Kylin（四）：Kylin创建cube
Lansonli（蓝深李）的博客
03-03 723
请注意，如果没有字典编码，cube 的大小可能会非常大。虽然衍生维度具有很大的吸引力，但是并不代表所有维度表上的维度都可以编程衍生维度，如果从维度表主键到某个维度表维度所需要的聚合工作量很大，例如：统计每年E订单金额M，基本上需要365:1的聚合量，那么可以将E设置成为一个基本维度，而不是一个衍生维度更合适。在kylin中，事实表与维度表关联时，类似使用主外键关联，事实表中有“外键-FK”，维度表中有“主键-PK”，如果在事实表中选择了FK为一个维度，那么相关的PK将自动查询，没有任何额外的开销。
【计算机图形学】四、B样条曲线的生成
听雨草堂
01-18 6183
1.算法 2. 源代码 #include "stdafx.h" #include "GL/glut.h" #include "stdlib.h" void init() { glClearColor(1.0,1.0,1.0,0.0); glMatrixMode(GL_PROJECTION); gluOrtho2D(0.0,600.0,0.0,400.
Kylin构建Cube过程详解
深蓝旭的博客
12-15 1424
1 前言 在使用Kylin的时候，最重要的一步就是创建cube的模型定义，即指定度量和维度以及一些附加信息，然后对cube进行build，当然我们也可以根据原始表中的某一个string字段（这个字段的格式必须是日期格式，表示日期的含义）设定分区字段，这样一个cube就可以进行多次build，每一次的build会生成一个segment，每一个segment对应着一个时间区间的cube，这些segment的时间区间是连续并且不重合的，对于拥有多个segment的cube可以执行merge，相当于将一个...
kylin 创建MODEL和CUBE示例
csdn问鼎
02-26 2908
首先要创建一个项目，然后开始创建MODEL  选择事实表和维度表，选择事实表和维度表的join方式    选择模型的维度，只有这里选择了维度，在后面的CUBE中才能选，这里我们选了F_ORDER_MESSAGE中的id和city与F_CITY中的ID和CITY作为维度 如果表中有分区表的话，选择分区表设置读取的分区格式   开始创建CUBE，选择模型，设置CUBE名称 选择计算维度，只能...
什么是 Kylin Cube？
余璜的技术博客
03-28 1338
继续用上面的例子，如果有一个SQL查询是这样的：“SELECT SUM(sales) FROM records WHERE year=2019 AND category=‘Electronics’”，而不是在Hive中进行大规模的行扫描和聚合，Kylin可以直接查询它的立方体中2019年分类为"Electronics"的预先汇总的销售数据，这样查询就会快很多。所谓的物化视图，就是将查询的结果集实际存储在数据库中，这样在后续的查询时可以直接访问这些存储的结果，而不需要再次进行复杂的计算。
kylin的Cube构建原理及优化
wenzi880607的专栏
05-21 1496
Kylin的Cube构建原理 cube的构建主要有两种算法：逐层构建算法、快速构建算法，无论是采用哪种算法，首先是从Hive表中拉取数据，根据配置的星型模型，把hive中涉及的表关联起来，并拉取所有的字段形成一个中间层的宽表，如图 然后根据落地中间表的数据生成cube 逐层构建算法： 一个N维的Cube,是由1个N维的立方体、N个（N-1）维子立方体、N*(N-1)/2个（N-2)维子立方体、.....、N个1维子立方体和1个0维子立方体构成，总共由2^N个子立方体组成，逐层算法中，就是按照
大数据的魔方：Kylin Cube构建全解析
2401_85702623的博客
06-30 1050
Kylin Cube是一种多维数据模型，它允许用户根据业务需求预先计算并存储数据的聚合结果，从而实现对大数据集的快速查询。在Kylin中，首先需要定义数据模型，包括选择事实表和维度表，以及它们之间的关系。Kylin Cube的构建是实现大数据快速分析的关键步骤。本文详细介绍了Cube构建的准备工作、步骤、工作原理以及性能优化技巧。通过本文的学习，你现在应该已经掌握了如何在Kylin中构建和优化Cube，为大数据分析项目提供强大的支持。
KylinCube构建优化
互联网知识分享
08-08 262
构建之前，可以对数据进行预处理，以提高构建任务的性能。数据清洗可以过滤掉无效数据，减少构建任务的数据量；为了减少构建时间，可以使用增量构建的方法。增量构建只计算新增的数据，然后将新增的数据合并到已有的。的设计可以提高构建任务的性能。常见的调整方法包括选择合适的维度、度量、聚合等。支持将构建任务分成多个子任务并行执行，以提高构建任务的性能。通过并行计算和增量构建等技术来提高构建任务的性能。构建优化的详细介绍，包括优化方法和示例代码。的设计对构建任务的性能有很大影响。的性能，加快数据分析和查询的速度。
KylinCube构建原理
互联网知识分享
08-08 289
中，可以通过定义多个层次的聚合，对数据进行预计算和存储。中，可以通过对数据进行分区、排序和压缩等操作，来减少数据的存储和查询开销。数据预处理可以在数据导入和分层聚合计算之间进行。中，维度可以用于对数据进行切片和过滤，以便进行更精细的查询和分析。倒排索引算法是一种用于快速检索数据的算法，它将数据按照维度和度量进行索引，以便进行高效的查询和分析。中，可以通过查询优化算法来优化查询计划的选择、数据的访问和计算的执行，从而加速查询过程。的理解和应用，可以提高数据查询和分析的效率，从而支持更快速和准确的决策分析。
Kylin Cube调优
大数据流浪法师的学习笔记与分享
07-28 731
文章目录kylin如何确定指标和维度？SQL和Cube之间的关系？？为什么极大的提高了效率?Kylin的工作原理N个维度，随机组合可能出现的组合方式有多少种？？？技术架构理解Cube、Cuboid与Segment的关系全量和增量的区别管理Cube碎片（Segment）使用JDBC连接操作Kylin kylin如何确定指标和维度？ 按照订单渠道名称统计订单总额/总数量 哪个是指标？？总额/总数量 哪个是维度？？渠道 select t2.channelid, t2.channelname, sum(t1.pri
Apache Kylin Cube设计优化策略：提升大数据查询性能
2401_85812026的博客
06-25 845
Apache Kylin是一个开源的分布式分析引擎，旨在为Hadoop之上的大数据提供快速的查询能力。Kylin通过预计算技术，将数据预先聚合并存储在HBase或HDFS中，从而实现对大数据的亚秒级查询响应。Cube是Kylin中的核心概念，代表数据的多维数据集。优化Cube设计对于提升查询性能和降低存储成本至关重要。本文将详细介绍如何优化Kylin中的Cube设计。
【Python】网络爬虫（一）：pyquery一瞥
听雨草堂
04-29 4811
1.pyquery简介 python中的pyquery模块语法与jquery相近，可用来解析HTML文件。官方文档地址：https://pythonhosted.org/pyquery/ 。通过HTML中的标签、id、给定的索引等来获取元素，使得解析HTML文件极为方便。 2.实例 2.1 爬取豆瓣电影页面中主演 右键chrome中的审查元素，观察到主演的标
【计算机图形学】三、bezier曲线的生成
听雨草堂
01-18 4252
1. 算法 2. 源代码 #include "stdafx.h" #include "GL/glut.h" #include "stdlib.h" #include "math.h" void init() { glClearColor(1.0,1.0,1.0,0.0); glMatrixMode(GL_PROJECTION); gluOrtho2D(0.0
【Hadoop】数据序列化系统Avro
听雨草堂
08-31 3658
Avro简介 schema 文件组成 声明代码 测试代码 序列化与反序列化 specific generic 参考文献Avro简介Avro是由Doug Cutting（Hadoop之父）创建的数据序列化系统，旨在解决Writeable类型的不足：缺乏语言的可移植性。为了支持跨语言，Avro的schema与语言的模式无关。有关Avro的更多特性请参看官方文档 1。Avro文件的读写是依据schema而
【Hadoop】Avro源码分析（二）：反序列化之Generic
听雨草堂
10-10 3235
文件读取 类图继承 DataFileStream DataFileReader Header与Data Block读取 初始化Header Data Block读取本文着重研究avro反序列化的Generic方式，先从下面这段读取avro文件的代码开始讲起。File file = new File("e://twitter.avro"); DatumReader dat
【计算机图形学】二、椭圆的生成
听雨草堂
01-18 2242
1. 算法 2. 源代码 #include "stdafx.h" #include "GL/glut.h" #include "stdlib.h" void init() { glClearColor(1.0,1.0,1.0,0.0); glMatrixMode(GL_PROJECTION); gluOrtho2D(0.0,600.0,0.0,400
【Hadoop】Avro源码分析（一）：Schema
听雨草堂
09-03 2121
抽象类Schema Type 类图 原生类型Schema的创建 保留字段 类RecordSchema Name与Names 类Field RecordShema的定义 toString的实现 测试代码有关Avro的schema介绍已经在前一篇中给出了。本篇主要分析org.apache.avro.schema.java源码，以此深入了解schema。抽象类Schemaschema是abstract c
【计算机图形学】六、Mandelbrot集
听雨草堂
01-19 1865
1. 算法 2. 源代码 #include "stdafx.h" #include "GL/glut.h" #include "stdlib.h" #include "math.h" float xmin=-2.00,xmax=0.50; float ymin=-1.25,ymax=1.25; void init() { glClearColor(1.0,1.0,
cube数据模型设计
最新发布
02-27
Apache Kylin中的Cube是一种多维数据模型，旨在优化大规模数据集上的查询性能。为了实现高效的数据处理与分析，设计者需充分理解Cube的工作原理及其在不同场景下的表现特点[^1]。 #### 二、选择合适的维度字段 当...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

浅唱书令

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值