kylin_存储之rowkey生成规则

最新推荐文章于 2024-07-27 14:09:38 发布

转载最新推荐文章于 2024-07-27 14:09:38 发布 · 1.5k 阅读

本文介绍了Kylin中用于优化查询性能的Rowkey生成规则，包括具体的编码方式及示例，帮助理解多维数据集（Cuboid）的组织结构。

kylin_存储之rowkey生成规则

例子：

00000011 11

cuboid 维度编码

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

snail_in_winter

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

神兽麒麟kylin驾驭指南

东北溜达滑的博客

12-04

1213

简单介绍一下：Apache Kylin 是一个开源的分布式分析引擎。Apache 顶级项目之一，国产的，很屌的，神兽，大家都叫他麒麟。支持多维分析，支持超大规模数据，支持亚秒级交互式分析查询，支持高并发…。 1、前言在介绍kylin之前先介绍下数据处理分类。因为我们神兽Kylin就是ebay开发的一套OLAP系统。那什么是OLAP呢？ 1.1、OLAP和OLTP 数据处理大致可以分成两大...

Kylin设计详解一

zhangzty111的博客

06-14

550

目录一 Kylin设计核心思想二 Kylin基本架构三基本概念业务的发展伴随着事实表的数据体量的增大，查询时间也越来越长，而另一方面，结果集的数据量却没有显著增长，指标的变化也并不频繁。我们希望所有的查询都能在秒级返回查询结果，于是，我们有了一个思路：为什么不能把所有的结果先算好，查询时直接从结果集中取出来呢？这也就是 kylin 设计的初衷。 kylin的核心思想是预计算。好，现在这个组件已经有了一个准确的定位，那么接下来要解决的问题就是如何实现预计算，这套架子里究竟需要什么组件呢？上图中，蓝色的框框

3 条评论您还未登录，请先登录后发表或查看评论

HBase之rowkey设计原则和方法

热门推荐

qq_38180223的博客

06-30

3万+

rowkey设计原则和方法rowkey设计首先应当遵循三大原则：rowkey长度原则rowkey是一个二进制码流，可以为任意字符串，最大长度为64kb，实际应用中一般为10-100bytes，它以byte[]形式保存，一般设定成定长。一般越短越好，不要超过16个字节，注意原因如下：1、目前操作系统都是64位系统，内存8字节对齐，控制在16字节，8字节的整数倍利用了操作系统的最佳特性。2、hbase...

Kylin源码分析系列三—rowKey编码

zengrui_ops的博客

01-05

3345

Kylin源码分析系列三—rowKey编码注：Kylin源码分析系列基于Kylin的2.5.0版本的源码，其他版本可以类比。 1. 相关概念前面介绍了Kylin中Cube构建的流程，但Cube数据具体是以什么样的形式存在，可能还不是特别清晰明了，这篇文章就详细介绍下Cube数据的数据格式，主要就是其rowKey的编码，看下Kylin是怎样来保存各种维度组合下的各种度量的统计值的。这里首先...

HBase概念学习（八）开发一个类twitter系统之表设计

jiq•钦's technical Blog

06-29

3238

这边文章先将可能的需求分析一下，设计出HBase表，下一步再开始编写客户端代码。 TwiBase系统 1、背景为了加深HBase基本概念的学习，参考HBase实战这本书实际动手做了这个例子。 2、需求这是一个用户推特系统，用户登陆到系统，需要维护用户的基本信息，然后用户可以发帖和其他用户进行互动。用户之间可以相互关注，用户可以浏览关注用户的推文等等。这是一个比

rowkey设计原则和方法

allure2的博客

01-19

297

rowkey设计原则和方法 rowkey设计首先应当遵循三大原则： rowkey长度原则 rowkey是一个二进制码流，可以为任意字符串，最大长度为64kb，实际应用中一般为10-100bytes，它以byte[]形式保存，一般设定成定长。一般越短越好，不要超过16个字节，注意原因如下： 1、目前操作系统都是64位系统，内存8字节对齐，控制在16字节，8字节的整数倍利用了操作系统的最佳特性。 2...

Kylin知识点总结

默主归沙的博客

06-04

2140

Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。的出现就是为了解决大数据系统中级别数据的数据分析需求，它提供之上的查询接口及多维分析()能力以支持超大规模数据，它能在亚秒内查询巨大的表。其核心是预计算，计算结果存在中。作为大数据分析神器，它也需要站在巨人的肩膀上，依赖、、、等服务。的主要优势为以下几点：的核心思想是预计算。理论基

kylin怎么读取mysql数据分析_数据分析型数据仓库kylin

weixin_30837611的博客

02-07

559

kylin由以下几部分组成：· REST Server：提供一些restful接口，例如创建cube、构建cube、刷新cube、合并cube等cube的操作，project、table、cube等元数据管理、用户访问权限、系统配置动态修改等。除此之外还可以通过该接口实现SQL的查询，这些接口一方面可以通过第三方程序的调用，另一方也被kylin的web界面使用。· jdbc/odbc接口：kyli...

Presto&Kylin

lihuazaizheli的博客

07-27

1168

测试结论：Impala性能稍领先于Presto，但是Presto在数据源支持上非常丰富，包括Hive、图数据库、传统关系型数据库、Redis等。Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。

Rowkey设计三大原则

caoyongfei

07-11

7000

RowKey设计三大原则：唯一性原则（类似于关系型数据库的主键）长度原则(最大值64K，实际使用10-100byte) 散列原则(使得rowkey没有规律，可以均匀分布）

中的rowkey 获取hbase_HBase 顺序序列rowkey和预分区规则的思考和设计

weixin_30821291的博客

02-05

532

以往工作中HBase存储海量数据时候，因为历史原因主键使用自增长序列，数据迁移到HBase中时，并没有改变主键策略。导致数据全部写入一个region，造成数据热点。当时也没有采用预分区，数据增长过快，region过大时，在系统低负载时段需手动切分region。这些原因导致集群整体效率低。现在要求目前正好有一个新的数据存储场景开始设计，对数据需要增量顺序读(如：增量构建全文索引等)，中等规模随机读。...

Kylin性能调优记——业务技术两手抓

Hello World

07-20

1万+

背景最近开始使用了新版本的Kylin，在此之前对于新版本的了解只是代码实现和一些简单的新功能测试，但是并没有导入实际场景的数据做分析和查询，线上Hadoop稳定之后，逐渐得将一些老需求往新的环境迁移，基于以前的调研，新版本（V2，版本为1.5.2）的Kylin提供了几个比较显著的功能和优化：新的度量类型，包括TOPN、基于bitmap的精确distinct count和RAW。自定义度量框架，用

Kylin使用之创建Cube和高级设置

Hello World

01-23

1万+

Cube模型和Kylin创建Cube时的高级设置，Rowkey、维度组、维度字典等。

Kylin执行查询流程分析

Hello World

03-09

1万+

Kylin基于MOLAP实现，查询的时候利用Calcite框架，从存储在Hbase的segment表（每一个segment对应着一个htable）获取数据，其实理论上就相当于使用Calcite支持SQL解析，数据从Hbase中读取，中间Kylin主要完成如何确定从Hbase中的哪些表读数据，如何读取数据，以及解析数据的格式。场景设置首先设想一种cube的场景：维度：A（cardinality=10）

面试官Kylin夺命十三问

我的祖传代码

02-03

678

一数据准备 create table wedw_dw.t_kylin_test_df( province_id string ,city_id string ,hosp_id string ,user_id string ,date_id string ,amt double ) row format delimited fields terminated by ', 浙江,杭州,浙一,小明,20...

kylin创建cube时的步骤及一些notes

Chunhong Song的专栏

09-06

1782

1.创建工程2.同步hive表定义（四种）3.创建Data Modeljoin多表，定义了星型模型；join操作包括：left join和inner join；创建的model可以被多个cube使用；-->demensions可以来自事实表和维表；Meassues必须来自事实表；-->settings可以设置构建cube时的分割列（必须为DATE类型或者TIMESTAMP）4.创建Cu...

Rowkey设计部分

xugen12的专栏

11-15

1053

Rowkey Design 35.1. Hotspotting Rows in HBase are sorted lexicographically by row key. This design optimizes for scans, allowing you to store related rows, or rows that will be read toge

kylin的总体概述及总结汇总

king_hui719的博客

03-15

1058

Kylin Cube构建原理解析 Apache Kylin 是什么 Apache Kylin是一个开源的、基于Hadoop生态系统的OLAP引擎(OLAP查询引擎、OLAP多维分析引擎)，能够通过SQL接口对十亿、甚至百亿行的超大数据集实现秒级的多维分析查询。 ApacheKylin 核心:Kylin OLAP引擎基础框架，包括元数据引擎，查询引擎，Job(Build)引擎及存储引擎等，同...

测试要求根据下列要求实现对应操作，具体要求如下： 1. 打开终端 2. 执行命令： script /data/workspace/myshixun/step6.log 3. 在家目录下创建文件夹： kylin_test 4. 进入 ~/kylin_test 文件夹递归创建子文件夹： kylin_2021/a 、 kylin_2022/b 、 kylin_2023/c 5. 删除文件夹 /data/workspace/myshixun/kylin_2024 6. 执行命令：exit。