Kylin设计详解 一

最新推荐文章于 2024-07-31 20:44:41 发布
最新推荐文章于 2024-07-31 20:44:41 发布
阅读量521 收藏
点赞数
文章标签： kylin big data 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhangzty111/article/details/125288262
版权
Apache Kylin是一个用于大数据的预计算引擎，旨在提供亚秒级的查询性能。其核心思想是预先计算结果并存储，以加速查询。Kylin的基本架构包括数据源抽象层、构建引擎、存储抽象层、元数据管理、REST服务器、查询引擎和路由转换。它支持Hive和Kafka作为数据源，MapReduce和Spark作为计算引擎，Hbase作为存储，并通过RESTful API和JDBC/ODBC接口提供服务。Kylin中的Cube、Segment和Cuboid是其构建和存储查询结果的关键概念。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一 Kylin设计核心思想

二 Kylin基本架构

三 基本概念

一 Kylin设计核心思想

业务的发展伴随着事实表的数据体量的增大，查询时间也越来越长，而另一方面，结果集的数据量却没有显著增长，指标的变化也并不频繁。我们希望所有的查询都能在秒级返回查询结果，于是，我们有了一个思路：为什么不能把所有的结果先算好，查询时直接从结果集中取出来呢？这也就是 kylin 设计的初衷。
kylin的核心思想是预计算。
好，现在这个组件已经有了一个准确的定位，那么接下来要解决的问题就是如何实现预计算，这套架子里究竟需要什么组件呢？

二 Kylin基本架构

上图中，蓝色的框框是 kylin 系统的边界，里面是 kylin 的核心功能，蓝色框框外面的部分是 Kylin 的外围插件和适配器。

从模块上来看，大致分为以下几部分：

最低0.47元/天 解锁文章
Kylin
bingoabin
12-22 601
一、技术架构 Apache kylin系统可以分为在线查询和离线构建两部分，技术架构如图所示，在线查询的模块主要处于上半区，而离线构建则处于下半区。 从图中可以看出，数据源在左侧，主要是Hadoop Hive，保存着待分析的用户数据。下方构建引擎从数据源抽取数据，并构建Cube。数据以关系表的形式输入，MapReduce是当前主要的构建技术。构建后的Cube保存在右侧的存储引擎中，一般选用HBa...
KYLIN 建模设计学习总结（概念、空间优化、查询性能优化）
过了这个村没这个老王的博客
11-11 1724
KYLIN 建模设计学习总结 昨日Kyligence的老师对kylin建模进行了培训，基于Kyligence Cloud，除了界面以及商业特性，其他方式与开源版apache kylin 基本相同。 模型（model） ​ 模型是一个语意层的设计，在数仓之上，各种BI工具之下。构建一个模型需要一张事实表，可以有多张维度表，并通过列进行inner\left join。 ​ 模型中的维度、度量，基本可以理解为描述事物的角度（地区、客户号），以及指标（身高、销量）。用来对应一种场景下的所有查询的可能性。
Kylin系列（一）—— 入门
热门推荐
w124374860的专栏
09-06 1万+
Kylin 入门到进阶 Kylin kylin构造算法 kylin构造过程 kylin维度优化 Kylin 入门到进阶 前言 核心概念 数据仓库 传统数仓和大数据数仓的区别 OLAP和OLTP 维度和度量 维度的基数 事实表和维度表 星型模型 Kylin中维度表的设计 Cube和Cuboid Kylin的技术架构 Kylin的核心模块 REST Server 查询引擎（Query...
Kylin原理详解
MoForest的博客
06-11 3305
1. 基本介绍 1.1 Kylin简介 Kylin就是一个解决TB级别数据的数据分析需求的系统，通过预计算方式缓存了所有需要查询的数据结果，需要大量的存储空间。 1.2 为什么出现 首先需要明确OLAP和OLTP的概念。 简单来说OLTP（联机事务处理过程） 是面向交易过程的，特点就是需要即时处理。OLAP（联机分析处理） 支持复杂分析操作，侧重于对决策的支持，要求快速的对大数据量进行查询...
Windows 手动关闭防火墙
qq_43192537的博客
11-16 872
Windows 手动关闭防火墙
Kylin基本介绍
TU_JCN的博客
08-18 7934
Kylin 1、kylin基本介绍 Apache Kylin 是一个开源的分布式存储引擎，最初由 eBay 开发贡献至开源 社区。它提供 Hadoop 之上的 SQL 查询接口及多维分析（OLAP）能力以支持大规 模数据，能够处理 TB 乃至 PB 级别的分析任务，能够在亚秒级查询巨大的 Hive 表，并支持高并发。 1.1、为什么要使用kylin 自Hadoop 诞生以来，大数据的存储和批处理问题均得到了妥善解决，而如何高速地分析数据也就成为了下一个挑战。 于是各式各样的“SQL on Hadoop”技术
Kylin设计详解 二
zhangzty111的博客
06-16 259
目录4 Cube构建及优化4.1 Cube构建及优化总览4.2 Cube构建分步骤说明构建Cube的过程设计可以说是 kylin 系统设计的精华，这7个步骤封装了 kylin 绝大多数的实现细节，呈现出来的是简洁精炼的构建步骤。上图中，有7个步骤，可以分为三个阶段：前四步为构建阶段，5、6步为优化阶段，最后一步为总览。下面我们一个一个详细说一下 在这一步中，我们需要设置的是 Cube 的基本信息，其中包括：Model Name：model 名。Cube Name： Cube 名，全局唯一，否则会创建失败。N
Kylin系列：架构和高级功能详解
06-23 1469
Apache Kylin 是一个开源的分布式分析引擎，专为大数据上的多维分析（OLAP）设计，能够提供高性能、低延迟的查询服务。Kylin通过预计算技术，将复杂的查询转化为简单的查表操作，大幅提升查询性能。本文将详细介绍Kylin的架构和高级功能，帮助读者深入了解其工作原理及如何在实际业务中应用。
Apache Kylin操作详解：项目创建到立方体构建
Apache Kylin的操作流程涉及数据源的整合、模型设计、立方体构建和优化等多个环节，每个步骤都需要仔细处理以保证数据分析的效率和准确性。通过理解并遵循这些步骤，用户能够更有效地使用Apache Kylin处理和分析大...
搭建Apache Kylin集群：步骤详解与配置优化
最新发布
weixin_41859354的博客
07-31 754
搭建和优化Apache Kylin集群需要详细的配置和调优。本文提供了从源码构建到部署以及优化的详细步骤。通过合理的资源配置和优化，可以实现Kylin集群的高效运行，为大数据分析提供强大的支持。
Kylin原理解析
huahuaxiaoshao的博客
07-22 2218
1 概述       Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark智商的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据。       注：OLAP（Online Analytical Process），联机分析处理或在线分析。       最初由eBay开发并贡献至开发社区，它能在亚
kylin学习(一)：kylin简介与术语解析
weixin_39724194的博客
02-23 1414
1.概述 1.1 kylin定义： Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 1.2 kylin架构： 1）REST Server REST Server是一套面向应用程序开发的入口点，旨在实现针对Kylin平台的应用开发工作。 此类应用程序可以提供查询、获取结果、触发cube构建任务、获取元数据以及获取用户权限等等。另外可以通过
kylin
weixin_34242331的博客
01-11 207
文档地址 kylin.apache.org/cn/docs/ 转载于:https://juejin.im/post/5c3891a36fb9a049ef26ccfa
Apache Kylin安装与测试详解
Apache Kylin 是一个开源的在线分析处理（OLAP）引擎，设计用于大数据环境，特别是在Hadoop生态系统中。它提供高性能的SQL查询能力，允许用户对PB级别的数据进行亚秒级的分析。Kylin与Hadoop、Hive、HBase等组件紧密...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值