Kylin

CDH+Kylin三部曲之三:Kylin官方demo 现在Hadoop、Kylin都就绪了,接下来实践Kylin的官方demo; 阅读详情

Kylin前世今生

Apache Kylin背景

Apache Kylin(麒麟)是一个开源的分布式存储引擎,最初由ebay开发贡献置开源社区,它提供Hadoop智商的sql查询接口以及多维分析(OLAP)能力以支持大规模数据,能够处理TB乃至PB级别的分析任务,能够在亚秒级查询巨大的hive表,并支持高并发。

值得一题的是Apache Kylin 于2014年10月在github开源,并很快在2014年11月加入Apache孵化器,2015年9月与spark、hbase、kafka并列荣获info World 2015年Bossie最佳开源大数据工具奖,这是国人项目第一次获得该国际大奖,与2015年11月毕业,成为Apache顶级项目,是首个完全由中国团队设计开发的Apache顶级项目。

应用场景

  1. 假如你的数据存在hadoop的HDFS分布式文件系统中,并且你使用hive来基于HDFS构建数据仓库系统,并进行分析数据,但是数据量巨大,比如PB级别。
  2. 同时你的haoop平台也使用Hbase进行数据存储和利用Hbase的行健实现数据的快速查询等。
  3. 你的hadoop平台的数据量逐日累增。
  4. 对于数据分析的维度大概10个左右。
    Apache Kylin的核心思想是利用空间换时间,将计算好的多为数据结果存在Hbase ,实现数据的快速查询。同时,由于Apache Kylin在查询方面制定了多种灵活的策略,进一步提高空间的利用率,使得这样的平衡策略在应用中值得采用

Kylin前奏

为了更好的了解kylin我们可以先普及如下概念

事实表和维度表

FactTable(事实表):事实表是用来记录具体的事件的,包含了每个事件的具体要素,以及具体发生的事情。
DimensionTable(维度表):维度表则是对事实表中事件要素的描述信息。
例如:订单表是事实表,地区表、时间表、品类表这些相对于订单表就是维度表。

星型模型和雪花模型

星型模型:星型模型是一种多维的数据关系,它是由一个或多个事实表和一组维表组成,所有的维表都直接连接在事实表上,每个维表都有一个维作为主键,所有维表的主键组合成事实表的主键。
雪花模型:雪花模型当有一个或多个维表没有直接连接到事实表中,而是通过其它的维表连接到事实表中,这个时候图多得就像雪花连在一起,故称雪花模型。

  1. 雪花模型是对星型模型的扩展,例如存在A国B省C市和A国B省D市的俩条记录相对于A国B省的信息存储了俩次星型模型存在冗余,雪花模型则极大的减少了冗余
  2. 同时也不难理解,雪花模型结构去除了数据冗余,但是在进行事实表和维度表之间的连接查询的时候其效率就比星型模型低了。所以在冗余可以接收的情况下,实际运用中还是星型模型的使用更多,也更有效率。

维度和度量

维度就是事实表和维表中的属性比如时间、产品类别、产品名这种,度量则一般会记录事件的相应数值比如销售数量、销售额等。

OLAP

  • ROLAP(Relational on-Line Analysis Processing) 基于关系型数据库到关系型数据库的多维分析统计,不需要预计算
  • MOLAP(Multidimensional on-Line Analysis Processing) 基于多维数据集(即cube数据立方体)到多为数据集的,需要预计算
  • HOLAP (Hybrid n-Line Analysis Processing)基于关系型数据库到多维数据集的。
    kylin 属于MOLAP

Data Cube(数据立方体)

Cube数据立方体只是对多维模型的形象说法,从表面上看数据立方体是三维的,但是多维模型不仅仅限于三维模型,可以组合更多的模型,比如四维、五维等。
在Kylin中在生成Cube的过程中,将所有维度组合即dimensions的不同组合,在Apache Kylin中成为cuboid,比如包含n个dimensions的cube有2^n次方和cuboid

Apache Kylin的工作原理和体系架构

Kylin的工作原理

简单来说Kylin的核心思想是预计算,即对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube并存在Hbase当中,供查询时直接访问,并把高复杂度的聚合运算、多表链接等操作转换撑对预计算结果的查询,这决定了Kylin能够拥有很好的快速查询和高并发的能力

  • cuboid:Kylin中将维度任意组合成为一个Cuboid
  • cube: Kylin中将所有维度的组合成为一个cube,即包含所有cuboid。

假设我们有4个Dimension,这个cube中每个节点都是这个4个Dimension的不同组合,每个组合定义了一组分析的Dimension,measure的聚合结果就保存在这每个cuboid上,查询时根据sql找到对应的cuboid,读取measure的值即可返回。

Kylin的体系架构

kylin的架构图

  • 模块一 hadoop/hive Kylin是一个MOLAP系统,其将hive中的数据进行预计算,利用Hadoop中的MapReduce分布式计算框架来实现。
  • 模块二 HBase HBase是Kylin中用来存储OLAP分析cube数据的地方,实现多为数据集的交互式查询。
  • 模块三 Kylin的核心模块
  1. Rest Server
    提供Restful接口,可以通过该接口来创建cube、构建cube、刷新cube、合并cube等相关操作。另外还有Kylin的Projects、Tables等元数据管理,用户访问权限控制,系统参数动态配置或修改等。
  2. Query Engine
    目前的Kylin使用开元的Calcite框架试下SQL解析可以理解为SQL引擎层。
  3. Routing
    负责将解析SQL生成的执行计划转换撑cube缓存的查询,cube是通过预计算缓存在HBase中,这部分查询是可以在秒级甚至毫秒级完成,还有操作查询过原始存在HDFS上的数据(使用hive查询),这部分查询的延迟比较高。
  4. Metadata
    Kylin中有大量的元数据信息,包括cube的定义、星型模型的定义、job和执行job的输出信息、模型的维度信息等。Kylin的元数据和cube都存储在HBase中,存储的格式是json字符串。
  5. Cube Build Engine
    这个模块比较重要,它是所有模块的基础,主要负责Kylin预计算中创建cube,创建的过程首先通过读取hive中的原始数据,然后通过一些MR或Spark计算生成Htable,最后将数据load到HBase表中
  • 模块四 Kylin提供的接口
    这部分模块主要是提供了Restful API和JDBC/ODBC接口,方便第三方Web APP产品和基于SQL的BI工具的接入,比如Apache Zeppelin、Tableau、Power BI等。
    Kylin提供的JDBC驱动的classname为org.apache.kylin.jdbc.Driver,使用的URL的前缀jdbc:kylin:,使用JDBC接口的查询走的流程和使用RESTFul接口查询走的内部流程是相同的。这类接口也使得Kylin很好地兼容tebleau甚至mondrian。

Kylin cube构建流程

  1. 第一步创建中间表:原始表中有事实表和维度表,将其维度和度量分别提出,作成一张宽表为中间表
    例如
addresscatogorydateprice
北京电子2010-01-01169
上海交通2010-01-02170
  1. 第二步将中间表的数据均匀分配到不同的文件(解决第一步的MR倾斜,后面具体讲)
  • 首先计算出中间表的总行数
  • per mapper=100w 注:为什么100w 引用官网上的一句话

1 millions data size small than HDFS block size

  • 计算出reduce的个数
select * from kylin_intermediate_airline_cube Distribute by RNAD();

说下对这个sql的理解by RAND指的是随机分区,如果指定字段,则相同的字段会在同一分区。

  1. 第三步 创建维度字典表(全部改为数字对应)
addressvaluecatogoryvaluedatevalue
北京0电子02010-01-010
上海1交通12010-01-021

要创建字典表每个维度的distinct取出来,存字典表(中间表)节省空间。

  1. 第四步 构建cube
    预聚合表
addresscatogorydateprice
000100
1×0500
110600
  1. 创建hbase的k-v
rowkeyvalue
111+000100
101+10500
111+11600

111+000 前半部分111代表三个维度都存在,000代表维度值为000

  1. 第六步 将cube data转成HFile 并导入hbase(转换文件格式就好)
    cube data (sequence File)-> HTable (HFile)
Kylin使用心得 Kylin是一个开源的分布式分析引擎,设计用于在大规模数据集上实现亚秒级的查询性能。它是Apache软件基金会的一个顶级项目,借助于Hadoop和HBase等开源技术,Kylin能够快速地构建多维数据模型,支持复杂的OLAP(联机分析处理)查询。快速的查询性能:Kylin的多级索引和预计算技术能够大幅度提高查询性能,甚至可以达到亚秒级的响应时间。多维数据模型:Kylin支持多维数据模型,可以对大规模数据集进行多维分析,从而支持复杂的OLAP查询。 阅读详情

相关推荐

Kylin(麒麟)安装及简单使用

前置准备 Zookeeper单机环境和集群环境搭建视频+图文教程 Hadoop单机伪分布式-视频教程 Hadoop完全分布式集群环境搭建-视频教程 HA(高可用)-Hadoop集群环境搭建视频+图文教程 Linux下Hive的安装 HBase单机伪分布式集群环境搭建-视频教程 HA-HBase集群环境搭建-视频教程 一、概述 Apache Kylin™是一个开源的、分布式的分析引擎,提供 Ha...

广彐水厂 2729

大数据分析神兽麒麟(Apache Kylin)

参考文章:大数据分析神兽麒麟(Apache Kylin) 1.Apache Kylin是什么? 在现在的大数据时代,越来越多的企业开始使用Hadoop管理数据,但是现有的业务分析工具(如Tableau,Microstrategy等)往往存在很大的局限,如难以水平扩展、无法处理超大规模数据、缺少对Hadoop的支持;而利用Hadoop做数据分析依然存在诸多障碍,例如大多数分析师只习惯使用SQL,Hadoop难以实现快速交互式查询等等。神兽Apache Kylin就是为了解决这些问题而设计的。 Apa

justlpf的专栏 2611

Kylin的Java使用

1、BI工具集成 官方文档使用说明 可以与Kylin结合使用的可视化工具很多,例如: ODBC:与Tableau、Excel、PowerBI等工具集成 JDBC:与Saiku、BIRT等Java工具集成 RestAPI:与JavaScript、Web网页集成 Kylin开发团队还贡献了Zepplin的插件,也可以使用Zepplin来访问Kylin服务。 1、JDBC 1)新建项目并导入依赖 <dependencies> <dependency> <g

TU_JCN的博客 812

Qiling框架学习-Qilinglab

Qiling框架是一个超轻量级的“沙盒”,适用于Linux、MacOS、Windows、FreeBSD、DOS、UEFI和MBR。它是建立在Unicorn引擎之上的二进制仿真框架,支持x86(16、32和64位)、ARM、ARM64和MIPS。麒麟框架也凭借Demigod支持Linux内核模块(.ko),微软视窗驱动(.sys)和苹果MacOS内核(.kext)

重启专家的博客 2571

kylin安装部署

环境简介 Hadoop2.6.4 Hbase-1.1.5 Zookeeper-3.4.6 Hive-1.2.1 JDK: 1.7+ 安装流程 1, 解压 tar -zxvf apache-kylin-1.6.0-hbase1.x-bin.tar.gz   2, 配置环境变量 sudo vi /etc/profile export KYLIN_HOME=${dir}/kyli

端茶倒水个体户的专栏 4131

Kylin系列8- Kylin与BI工具集成

文章目录概述:一. JDBC1.1 新建项目并导入依赖1.2 Java代码1.3 测试记录二. Zepplin2.1 Zepplin 下载2.2 Zepplin安装和启动2.2.1 解压文件2.2.2 修改配置文件2.2.3 启动Zeppelin2.3 配置Zeppelin支持Kylin2.4 实操参考: 概述: 可以与 Kylin 结合使用的可视化工具很多,例如: ODBC:与 Tableau、Excel、PowerBI 等工具集成 JDBC:与 Saiku、BIRT 等 Java 工具集成 RestAP

只是甲的博客 1927

Kylin麒麟大数据OLAP框架 build问题 10020 failed on connection exception: java.net.ConnectException: Connection

问题 10020 failed on connection exception: java.net.ConnectException: Connection 描述 Kylin麒麟大数据样例project。 在构建样例数据之后开始build table,在启动了resource manager成功的情况依然报错。具体错误产生于build n-dimension cuboid 解决方法 step 1确...

qq_34184324的博客 528

如何基于Kylin实现多维实时数据分析

如何基于Kylin实现多维实时数据分析 作者:禅与计算机程序设计艺术 1. 背景介绍 1.1 大数据时代的数据分析挑战 随着互联网、物联网、移动互联网的快速发展,数据规模呈爆炸式增长,企业积累了海量的数据。如何

AI架构师小马 1152

Kylin系列(一)入门

面向应用程序开发的入口点,提供查询、获取结果、触发cube构建任务、获取元数据以及用户权限等API。查询引擎(Query Engine):当cube准备就绪后,查询引擎能够获取并解析用户查询,与系统中的其他组件交互,向用户返回对应的结果。元数据管理工具(Metadata):对保存在Kylin中的所有元数据进行管理,包括cube元数据等。任务引擎(Cube Build Engine):处理所有离线任务,如shell脚本、Java API以及MapReduce任务等,对Kylin中的任务进行管理与协调。

m0_70066267的博客 1176

在WPS/Office中免费使用AI,快速提升办公效率!​

《免费解锁WPS/Office AI办公神器教程》摘要: 本教程详解如何通过第三方插件OfficeAI免费实现WPS/Office智能办公,突破官方付费限制。从安全设置到安装配置,手把手教学,涵盖文档生成、PPT美化、Excel图表等核心功能。关键优势包括零成本、全场景支持及云端/本地双模式切换,并附常见问题解决方案。注意需使用WPS 2024+版本,安装时需临时关闭杀毒软件。教程强调工具来源合法性,建议商用购买正版授权。(149字)

杜哥无敌的博客 2307

保姆级教程:用WorkVisual 6.0给你的KUKA机器人硬件做一次‘全身体检’与配置检查

本文详细介绍了如何使用WorkVisual 6.0对KUKA机器人进行全面的硬件诊断与配置检查。从环境准备到核心硬件模块检查,再到安全系统合规性验证,提供了保姆级教程,帮助技术团队快速掌握数字化诊断方案,提升工业机器人的健康管理效率。

weixin_27298377的博客 279

Kylin 安装

Kylin 安装Kylin 依赖环境Kylin 搭建上传 Kylin 安装包解压文件Kylin兼容性问题排除冲突的jar包Kylin启动关闭KylinKylin BI工具集成JDBCZepplinZepplin安装与启动 Kylin 依赖环境 安装 Kylin 前需先部署好 Hadoop、Hive、Zookeeper、HBase Zookeeper 分布式安装 : https://blog.youkuaiyun.com/qq_44226094/article/details/123119682 Hadoop HA 部署

记录点点滴滴 2971

Windows下Maven环境变量配置避坑指南:解决‘mvn‘不被识别问题

本文详细解析了Windows系统中配置Maven环境变量时常见的'mvn'不被识别问题,特别是当系统提示“无法将‘mvn’项识别为cmdlet、函数、脚本文件或可运行程序的名称”时的解决方案。文章从问题根源入手,提供了清晰的配置步骤、深入的排查方法以及针对PowerShell的特殊处理,旨在帮助开发者彻底解决环境变量配置难题,确保Maven命令正常使用。

weixin_28826961的博客 390

kylin linux设置密码,Kylin 安装和使用

版本兼容性KylinHadoopHiveHBaseSparkKafkaJavaHDPCDH2.32.7+0.13 - 1.2.1+1.1+2.1.1+1.7+2.2 - 2.65.7 - 5.112.42.7+0.13 - 1.2.1+1.1+2.1.1+0.10.0+1.7+2.2 - 2.65.7 - 5.112.5, 2.62.7+, 3.1+0.13 - 1.2.1+1.1+, 2.02....

weixin_32413167的博客 2907

Veritas NetBackup 10.1 Windows安装指南:从账户配置到完整部署

本文详细介绍了Veritas NetBackup 10.1在Windows系统上的完整安装流程,从账户配置到部署验证。重点讲解了创建专用服务账户、安装组件选择、许可证输入等关键步骤,并提供了常见问题排查和进阶配置建议,帮助用户顺利完成企业级备份解决方案的部署。

weixin_26765287的博客 454

python发送邮件的时候出现 error (535, b‘5.7.3 Authentication unsuccessful‘) 解决方法

出现该Bug的原因主要是 账号密码无法登录,但原先使用该代码测试qq或者163的时候是可以通过的!问题在于各个公司邮件所处理的代码方式不一样

码农研究僧的博客 3503

用 Docker 运行 Kylin

//下载kylin依赖的景象 docker pull apachekylin/apache-kylin-standalone:3.1.0 有时为了方便的去测试kylin的功能,我们可以直接通过docker的方式来启动一个kylin示例,直接执行上面的景象下载命令即可。下载之后的后续操作,请参考以下资料: http://kylin.apache.org/cn/docs/install/kylin_docker.html 在下载竟像时要指定景象的版本3.1.0,因位docker hub上latest版本.

litlit023的专栏 1365

6.4 实战项目:基于Agent内核构建Code Review智能体

本文介绍了一个基于Agent内核构建的智能Code Review系统实战项目。系统采用多Agent协作架构,包含代码质量分析、安全漏洞识别、性能优化建议等核心功能模块。文章详细展示了系统架构设计,采用协调器Agent管理多个专业Agent协同工作,并提供了基础Agent框架和协调器Agent的TypeScript实现代码。项目结合了AI Agent核心原理和多Agent协作机制,实现了自动化的代码审查流程,能够生成详细的审查报告,帮助开发者提升代码质量和安全性。

yonggeit的博客 3114

kylin在hadoop 中的架构图_kylin-learn_kylin表结构解读

基于kylin-3.0背景学习kylin,当搭建好kylin平台后,无论是单节点的还是集群模式的,接下来就是需要进行kylin官方提供的样例cube进行学习;脚本位置:${KYLIN_HOME}/bin/sample.sh,直接执行即可;执行结束后,默认是在default库下,会生成5张表;暂命名为销售模型,具体如下:一定要耐着性子、仔细的理解一下这几张表,对后面的model、cube的创建的理解...

weixin_32040059的博客 365

【ROS机器人系统】实验4 ROS简单应用:激光SLAM与导航

ROS简单应用:激光SLAM与导航 (1)了解机器人和SLAM之间关系 (2)了解激光SLAM (3)了解gmapping和导航

南京大学软件工程硕士在读 2148

【Unity】RPG2D龙城纷争(十九)流程与UI界面(终章)

本章为RPG2D系列的终章,在之前的章节中我们已经完成了游戏的所有基本功能,那么用流程与UI界面将其串联起来才是我们整个游戏原型完善的标志。

神码编程 917

Kylin使用

1.操作流程: 参考此博客:https://www.jianshu.com/p/e6081391ccc2 2.web端操作配置详情 2.1.打开web界面 Hostto access: http://hostname:7070/kylin Loginwith username/password: ADMIN/KYLIN 2.2样例数据测试 启动kylin后,运行bin/sample.sh 查看...

学海无涯的博客 1514

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

原来Kylin的增量构建,大有学问!

        本篇博客,博主为大家介绍的是关于Kylin的增量构建的步骤过程,以及其与全量构建的差异对比!看完之后,相信你也一定能够感受到这里面的大学问~ 文章目录Kylin增量构建应用场景理解Cube、Cuboid与Segment的关系全量构建与增量构建全量构建增量构建全量构建和增量构建的对比增量构建Cube过程增量Cube的创建1、配置Model2、 设置日期范围3、查看Segment总结 Kylin增量构建 应用场景

大数据梦想家 1万+

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Kylin 可视化

1.可以与Kylin结合使用的可视化工具很多,例如:     • ODBC:与Tableau、Excel、PowerBI等工具集成     • JDBC:与Saiku、BIRT等Java工具集成     • RestAPI:与JavaScript、Web网页集成     • Kylin开发团队还贡献了Zepplin的插件,也可以使用Zepplin来访问Kylin服务。       • ...

程序员学习圈 1449

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

上一篇: metron使用心得
下一篇: Python Learning(一)-数据类型
zax_java
博客等级 码龄8年 62粉丝 23原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值