Kylin

CDH+Kylin三部曲之三:Kylin官方demo 现在Hadoop、Kylin都就绪了,接下来实践Kylin的官方demo; 阅读详情

Kylin前世今生

Apache Kylin背景

Apache Kylin(麒麟)是一个开源的分布式存储引擎,最初由ebay开发贡献置开源社区,它提供Hadoop智商的sql查询接口以及多维分析(OLAP)能力以支持大规模数据,能够处理TB乃至PB级别的分析任务,能够在亚秒级查询巨大的hive表,并支持高并发。

值得一题的是Apache Kylin 于2014年10月在github开源,并很快在2014年11月加入Apache孵化器,2015年9月与spark、hbase、kafka并列荣获info World 2015年Bossie最佳开源大数据工具奖,这是国人项目第一次获得该国际大奖,与2015年11月毕业,成为Apache顶级项目,是首个完全由中国团队设计开发的Apache顶级项目。

应用场景

  1. 假如你的数据存在hadoop的HDFS分布式文件系统中,并且你使用hive来基于HDFS构建数据仓库系统,并进行分析数据,但是数据量巨大,比如PB级别。
  2. 同时你的haoop平台也使用Hbase进行数据存储和利用Hbase的行健实现数据的快速查询等。
  3. 你的hadoop平台的数据量逐日累增。
  4. 对于数据分析的维度大概10个左右。
    Apache Kylin的核心思想是利用空间换时间,将计算好的多为数据结果存在Hbase ,实现数据的快速查询。同时,由于Apache Kylin在查询方面制定了多种灵活的策略,进一步提高空间的利用率,使得这样的平衡策略在应用中值得采用

Kylin前奏

为了更好的了解kylin我们可以先普及如下概念

事实表和维度表

FactTable(事实表):事实表是用来记录具体的事件的,包含了每个事件的具体要素,以及具体发生的事情。
DimensionTable(维度表):维度表则是对事实表中事件要素的描述信息。
例如:订单表是事实表,地区表、时间表、品类表这些相对于订单表就是维度表。

星型模型和雪花模型

星型模型:星型模型是一种多维的数据关系,它是由一个或多个事实表和一组维表组成,所有的维表都直接连接在事实表上,每个维表都有一个维作为主键,所有维表的主键组合成事实表的主键。
雪花模型:雪花模型当有一个或多个维表没有直接连接到事实表中,而是通过其它的维表连接到事实表中,这个时候图多得就像雪花连在一起,故称雪花模型。

  1. 雪花模型是对星型模型的扩展,例如存在A国B省C市和A国B省D市的俩条记录相对于A国B省的信息存储了俩次星型模型存在冗余,雪花模型则极大的减少了冗余
  2. 同时也不难理解,雪花模型结构去除了数据冗余,但是在进行事实表和维度表之间的连接查询的时候其效率就比星型模型低了。所以在冗余可以接收的情况下,实际运用中还是星型模型的使用更多,也更有效率。

维度和度量

维度就是事实表和维表中的属性比如时间、产品类别、产品名这种,度量则一般会记录事件的相应数值比如销售数量、销售额等。

OLAP

  • ROLAP(Relational on-Line Analysis Processing) 基于关系型数据库到关系型数据库的多维分析统计,不需要预计算
  • MOLAP(Multidimensional on-Line Analysis Processing) 基于多维数据集(即cube数据立方体)到多为数据集的,需要预计算
  • HOLAP (Hybrid n-Line Analysis Processing)基于关系型数据库到多维数据集的。
    kylin 属于MOLAP

Data Cube(数据立方体)

Cube数据立方体只是对多维模型的形象说法,从表面上看数据立方体是三维的,但是多维模型不仅仅限于三维模型,可以组合更多的模型,比如四维、五维等。
在Kylin中在生成Cube的过程中,将所有维度组合即dimensions的不同组合,在Apache Kylin中成为cuboid,比如包含n个dimensions的cube有2^n次方和cuboid

Apache Kylin的工作原理和体系架构

Kylin的工作原理

简单来说Kylin的核心思想是预计算,即对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube并存在Hbase当中,供查询时直接访问,并把高复杂度的聚合运算、多表链接等操作转换撑对预计算结果的查询,这决定了Kylin能够拥有很好的快速查询和高并发的能力

  • cuboid:Kylin中将维度任意组合成为一个Cuboid
  • cube: Kylin中将所有维度的组合成为一个cube,即包含所有cuboid。

假设我们有4个Dimension,这个cube中每个节点都是这个4个Dimension的不同组合,每个组合定义了一组分析的Dimension,measure的聚合结果就保存在这每个cuboid上,查询时根据sql找到对应的cuboid,读取measure的值即可返回。

Kylin的体系架构

kylin的架构图

  • 模块一 hadoop/hive Kylin是一个MOLAP系统,其将hive中的数据进行预计算,利用Hadoop中的MapReduce分布式计算框架来实现。
  • 模块二 HBase HBase是Kylin中用来存储OLAP分析cube数据的地方,实现多为数据集的交互式查询。
  • 模块三 Kylin的核心模块
  1. Rest Server
    提供Restful接口,可以通过该接口来创建cube、构建cube、刷新cube、合并cube等相关操作。另外还有Kylin的Projects、Tables等元数据管理,用户访问权限控制,系统参数动态配置或修改等。
  2. Query Engine
    目前的Kylin使用开元的Calcite框架试下SQL解析可以理解为SQL引擎层。
  3. Routing
    负责将解析SQL生成的执行计划转换撑cube缓存的查询,cube是通过预计算缓存在HBase中,这部分查询是可以在秒级甚至毫秒级完成,还有操作查询过原始存在HDFS上的数据(使用hive查询),这部分查询的延迟比较高。
  4. Metadata
    Kylin中有大量的元数据信息,包括cube的定义、星型模型的定义、job和执行job的输出信息、模型的维度信息等。Kylin的元数据和cube都存储在HBase中,存储的格式是json字符串。
  5. Cube Build Engine
    这个模块比较重要,它是所有模块的基础,主要负责Kylin预计算中创建cube,创建的过程首先通过读取hive中的原始数据,然后通过一些MR或Spark计算生成Htable,最后将数据load到HBase表中
  • 模块四 Kylin提供的接口
    这部分模块主要是提供了Restful API和JDBC/ODBC接口,方便第三方Web APP产品和基于SQL的BI工具的接入,比如Apache Zeppelin、Tableau、Power BI等。
    Kylin提供的JDBC驱动的classname为org.apache.kylin.jdbc.Driver,使用的URL的前缀jdbc:kylin:,使用JDBC接口的查询走的流程和使用RESTFul接口查询走的内部流程是相同的。这类接口也使得Kylin很好地兼容tebleau甚至mondrian。

Kylin cube构建流程

  1. 第一步创建中间表:原始表中有事实表和维度表,将其维度和度量分别提出,作成一张宽表为中间表
    例如
addresscatogorydateprice
北京电子2010-01-01169
上海交通2010-01-02170
  1. 第二步将中间表的数据均匀分配到不同的文件(解决第一步的MR倾斜,后面具体讲)
  • 首先计算出中间表的总行数
  • per mapper=100w 注:为什么100w 引用官网上的一句话

1 millions data size small than HDFS block size

  • 计算出reduce的个数
select * from kylin_intermediate_airline_cube Distribute by RNAD();

说下对这个sql的理解by RAND指的是随机分区,如果指定字段,则相同的字段会在同一分区。

  1. 第三步 创建维度字典表(全部改为数字对应)
addressvaluecatogoryvaluedatevalue
北京0电子02010-01-010
上海1交通12010-01-021

要创建字典表每个维度的distinct取出来,存字典表(中间表)节省空间。

  1. 第四步 构建cube
    预聚合表
addresscatogorydateprice
000100
1×0500
110600
  1. 创建hbase的k-v
rowkeyvalue
111+000100
101+10500
111+11600

111+000 前半部分111代表三个维度都存在,000代表维度值为000

  1. 第六步 将cube data转成HFile 并导入hbase(转换文件格式就好)
    cube data (sequence File)-> HTable (HFile)
Kylin使用心得 Kylin是一个开源的分布式分析引擎,设计用于在大规模数据集上实现亚秒级的查询性能。它是Apache软件基金会的一个顶级项目,借助于Hadoop和HBase等开源技术,Kylin能够快速地构建多维数据模型,支持复杂的OLAP(联机分析处理)查询。快速的查询性能:Kylin的多级索引和预计算技术能够大幅度提高查询性能,甚至可以达到亚秒级的响应时间。多维数据模型:Kylin支持多维数据模型,可以对大规模数据集进行多维分析,从而支持复杂的OLAP查询。 阅读详情

相关推荐

Kylin(麒麟)安装及简单使用

前置准备 Zookeeper单机环境和集群环境搭建视频+图文教程 Hadoop单机伪分布式-视频教程 Hadoop完全分布式集群环境搭建-视频教程 HA(高可用)-Hadoop集群环境搭建视频+图文教程 Linux下Hive的安装 HBase单机伪分布式集群环境搭建-视频教程 HA-HBase集群环境搭建-视频教程 一、概述 Apache Kylin™是一个开源的、分布式的分析引擎,提供 Ha...

广彐水厂 2729

大数据分析神兽麒麟(Apache Kylin)

参考文章:大数据分析神兽麒麟(Apache Kylin) 1.Apache Kylin是什么? 在现在的大数据时代,越来越多的企业开始使用Hadoop管理数据,但是现有的业务分析工具(如Tableau,Microstrategy等)往往存在很大的局限,如难以水平扩展、无法处理超大规模数据、缺少对Hadoop的支持;而利用Hadoop做数据分析依然存在诸多障碍,例如大多数分析师只习惯使用SQL,Hadoop难以实现快速交互式查询等等。神兽Apache Kylin就是为了解决这些问题而设计的。 Apa

justlpf的专栏 2611

Kylin的Java使用

1、BI工具集成 官方文档使用说明 可以与Kylin结合使用的可视化工具很多,例如: ODBC:与Tableau、Excel、PowerBI等工具集成 JDBC:与Saiku、BIRT等Java工具集成 RestAPI:与JavaScript、Web网页集成 Kylin开发团队还贡献了Zepplin的插件,也可以使用Zepplin来访问Kylin服务。 1、JDBC 1)新建项目并导入依赖 <dependencies> <dependency> <g

TU_JCN的博客 812

Qiling框架学习-Qilinglab

Qiling框架是一个超轻量级的“沙盒”,适用于Linux、MacOS、Windows、FreeBSD、DOS、UEFI和MBR。它是建立在Unicorn引擎之上的二进制仿真框架,支持x86(16、32和64位)、ARM、ARM64和MIPS。麒麟框架也凭借Demigod支持Linux内核模块(.ko),微软视窗驱动(.sys)和苹果MacOS内核(.kext)

重启专家的博客 2571

kylin安装部署

环境简介 Hadoop2.6.4 Hbase-1.1.5 Zookeeper-3.4.6 Hive-1.2.1 JDK: 1.7+ 安装流程 1, 解压 tar -zxvf apache-kylin-1.6.0-hbase1.x-bin.tar.gz   2, 配置环境变量 sudo vi /etc/profile export KYLIN_HOME=${dir}/kyli

端茶倒水个体户的专栏 4131

Kylin系列8- Kylin与BI工具集成

文章目录概述:一. JDBC1.1 新建项目并导入依赖1.2 Java代码1.3 测试记录二. Zepplin2.1 Zepplin 下载2.2 Zepplin安装和启动2.2.1 解压文件2.2.2 修改配置文件2.2.3 启动Zeppelin2.3 配置Zeppelin支持Kylin2.4 实操参考: 概述: 可以与 Kylin 结合使用的可视化工具很多,例如: ODBC:与 Tableau、Excel、PowerBI 等工具集成 JDBC:与 Saiku、BIRT 等 Java 工具集成 RestAP

只是甲的博客 1927

Kylin麒麟大数据OLAP框架 build问题 10020 failed on connection exception: java.net.ConnectException: Connection

问题 10020 failed on connection exception: java.net.ConnectException: Connection 描述 Kylin麒麟大数据样例project。 在构建样例数据之后开始build table,在启动了resource manager成功的情况依然报错。具体错误产生于build n-dimension cuboid 解决方法 step 1确...

qq_34184324的博客 528

如何基于Kylin实现多维实时数据分析

如何基于Kylin实现多维实时数据分析 作者:禅与计算机程序设计艺术 1. 背景介绍 1.1 大数据时代的数据分析挑战 随着互联网、物联网、移动互联网的快速发展,数据规模呈爆炸式增长,企业积累了海量的数据。如何

AI架构师小马 1152

Kylin系列(一)入门

面向应用程序开发的入口点,提供查询、获取结果、触发cube构建任务、获取元数据以及用户权限等API。查询引擎(Query Engine):当cube准备就绪后,查询引擎能够获取并解析用户查询,与系统中的其他组件交互,向用户返回对应的结果。元数据管理工具(Metadata):对保存在Kylin中的所有元数据进行管理,包括cube元数据等。任务引擎(Cube Build Engine):处理所有离线任务,如shell脚本、Java API以及MapReduce任务等,对Kylin中的任务进行管理与协调。

m0_70066267的博客 1176

Modem2G/3G/4G/5G:RFFE Driver(射频前端驱动):高通平台GRFC配置方法

文 | GentlemanTsao 文章目录前言1.什么是GRFC2.GRFC的配置流程概览3.msm_sig_info的配置与分析msm_sig_info Table位置:msm_sig_info Table示例:Table元素解读:rfc_msm_sig_info_type结构体signal typemsm_gpio |grfc_num:GPIO到GRFC的映射output_typefunction_select4._sig_cfg的配置与分析_sig_cfg table位置:_sig_cfg tabl

GentelmanTsao的博客 7315

如何制作微信小程序的在线购物商城应用

首先,你需要规划好商城的整体框架,确定好你的目标用户群体,思考他们的需求是什么。接下来,使用微信开发者工具创建一个新的小程序项目,输入你的AppID,选择好保存路径,点击“创建”,一个新的商城雏形就诞生了。你可以把这里当作自己的家,无论是工作之余的小憩,还是寻找灵感的驿站,我都希望你能在这里找到属于你的那份快乐和满足。数据是现代商业的灵魂,通过数据分析,你可以更准确地把握用户的行为模式,从而做出更明智的决策。

master_chenchen的博客 2429

Kylin 安装

Kylin 安装Kylin 依赖环境Kylin 搭建上传 Kylin 安装包解压文件Kylin兼容性问题排除冲突的jar包Kylin启动关闭KylinKylin BI工具集成JDBCZepplinZepplin安装与启动 Kylin 依赖环境 安装 Kylin 前需先部署好 Hadoop、Hive、Zookeeper、HBase Zookeeper 分布式安装 : https://blog.youkuaiyun.com/qq_44226094/article/details/123119682 Hadoop HA 部署

记录点点滴滴 2971

postgresql 数据库 timescaledb 函数time_bucket_gapfill()报错解决及更换 license

最近在工作中使用postgresql 和 timescaledb 的time_bucket_gapfill()函数 报错,让更换license,在网上找了一大圈,没有找到,最后解决了这个问题,这篇文章记录我的解决办法查看timescaledb.license参数命令:show timescaledb.license;修改命令: 结果不行,报错如下:lter system set timescaledb.license=‘timescale’;那只能换包了如果出现上面那种情况,那我们只能先从官网上下载带 '

yang_z_1的博客 3251

kylin linux设置密码,Kylin 安装和使用

版本兼容性KylinHadoopHiveHBaseSparkKafkaJavaHDPCDH2.32.7+0.13 - 1.2.1+1.1+2.1.1+1.7+2.2 - 2.65.7 - 5.112.42.7+0.13 - 1.2.1+1.1+2.1.1+0.10.0+1.7+2.2 - 2.65.7 - 5.112.5, 2.62.7+, 3.1+0.13 - 1.2.1+1.1+, 2.02....

weixin_32413167的博客 2908

IM 系统设计:仿微信架构,Netty + Protobuf + WebSocket 如何支撑百万级长连接?

相比 JSON,Protobuf 的体积通常只有前者的 1/5 到 1/10,且解析速度快一个数量级。// 消息类型:1-登录,2-心跳,3-单聊,4-群聊,5-ACK// 发送方ID// 接收方ID// 消息内容// 时间戳// 消息唯一ID,用于去重和ACK。

BUG猿的博客 1381

C#上位机+YOLO实时目标检测:摄像头采集+多线程推理+精度调优全流程

标注数据集:使用LabelImg工具标注目标对象,按YOLO格式整理数据集;模型训练:使用Ultralytics库训练自定义模型,提升特定目标的检测精度;训练参数优化:增加训练轮数(epochs=100200)、调整批次大小(batch=1632)、使用数据增强(flip、mosaic等)。摄像头采集:封装通用采集类,支持USB摄像头/网口相机,实现稳定帧读取与异常处理;多线程推理:采用“采集线程+推理线程+UI线程”解耦架构,使用线程安全队列传递帧数据,彻底解决界面卡顿;核心封装。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 676

用 Docker 运行 Kylin

//下载kylin依赖的景象 docker pull apachekylin/apache-kylin-standalone:3.1.0 有时为了方便的去测试kylin的功能,我们可以直接通过docker的方式来启动一个kylin示例,直接执行上面的景象下载命令即可。下载之后的后续操作,请参考以下资料: http://kylin.apache.org/cn/docs/install/kylin_docker.html 在下载竟像时要指定景象的版本3.1.0,因位docker hub上latest版本.

litlit023的专栏 1365

在 ABAP Cloud 里优雅读取与解析 XML:用 sXML Reader 把接口数据落成结构化 ABAP

ABAP Cloud中XML解析实践 摘要:本文介绍了在ABAP Cloud环境下解析XML数据的最佳实践。针对企业系统中常见的XML格式数据,文章推荐使用sXML库中的CL_SXML_STRING_READER进行流式解析,而非传统的DOM方式。重点解析了命名空间(Namespace)、属性(Attribute)和CDATA等关键概念的处理方法,并比较了两种读取属性的策略:通扫所有属性(NEXT_ATTRIBUTE)和精准取值(GET_ATTRIBUTE_VALUE)。文章提供了完整的ABAP Cloud

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 195

kylin在hadoop 中的架构图_kylin-learn_kylin表结构解读

基于kylin-3.0背景学习kylin,当搭建好kylin平台后,无论是单节点的还是集群模式的,接下来就是需要进行kylin官方提供的样例cube进行学习;脚本位置:${KYLIN_HOME}/bin/sample.sh,直接执行即可;执行结束后,默认是在default库下,会生成5张表;暂命名为销售模型,具体如下:一定要耐着性子、仔细的理解一下这几张表,对后面的model、cube的创建的理解...

weixin_32040059的博客 365

“组合”的本质,是一场优雅的试错:手把手带你搞懂回溯与递归

刷题不是为了记住代码,而是为了构建“问题->模型->递归->剪枝”的抽象能力。递归调用的结构化思维;回溯法的路径构建和撤销机制;参数控制的边界判断与剪枝技巧;解空间模型的“树状图”画法;这些思想贯穿算法设计和解决复杂问题的全流程。

Echo_Wish 892

【PINN物理信息网络】基于PINN物理信息网络求解瞬态薛定谔方程(python)

【PINN物理信息网络】基于PINN物理信息网络求解瞬态薛定谔方程(python)

k8291121的博客 2724

Kylin使用

1.操作流程: 参考此博客:https://www.jianshu.com/p/e6081391ccc2 2.web端操作配置详情 2.1.打开web界面 Hostto access: http://hostname:7070/kylin Loginwith username/password: ADMIN/KYLIN 2.2样例数据测试 启动kylin后,运行bin/sample.sh 查看...

学海无涯的博客 1514

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

原来Kylin的增量构建,大有学问!

        本篇博客,博主为大家介绍的是关于Kylin的增量构建的步骤过程,以及其与全量构建的差异对比!看完之后,相信你也一定能够感受到这里面的大学问~ 文章目录Kylin增量构建应用场景理解Cube、Cuboid与Segment的关系全量构建与增量构建全量构建增量构建全量构建和增量构建的对比增量构建Cube过程增量Cube的创建1、配置Model2、 设置日期范围3、查看Segment总结 Kylin增量构建 应用场景

大数据梦想家 1万+

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

Kylin 可视化

1.可以与Kylin结合使用的可视化工具很多,例如:     • ODBC:与Tableau、Excel、PowerBI等工具集成     • JDBC:与Saiku、BIRT等Java工具集成     • RestAPI:与JavaScript、Web网页集成     • Kylin开发团队还贡献了Zepplin的插件,也可以使用Zepplin来访问Kylin服务。       • ...

程序员学习圈 1449

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

上一篇: metron使用心得
下一篇: Python Learning(一)-数据类型
zax_java
博客等级 码龄8年 62粉丝 23原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值