kylin_存储之rowkey生成规则

最新推荐文章于 2024-07-27 14:09:38 发布
转载 最新推荐文章于 2024-07-27 14:09:38 发布 · 1.5k 阅读 · 0

本文介绍了Kylin中用于优化查询性能的Rowkey生成规则，包括具体的编码方式及示例，帮助理解多维数据集（Cuboid）的组织结构。

kylin_存储之rowkey生成规则 

例子：

00000011    11

    cuboid      维度编码



神兽麒麟kylin驾驭指南
东北溜达滑的博客
12-04 1213
​ 简单介绍一下：Apache Kylin 是一个开源的分布式分析引擎 。Apache 顶级项目之一，国产的，很屌的，神兽，大家都叫他麒麟。支持多维分析，支持超大规模数据，支持亚秒级交互式分析查询，支持高并发…。 1、前言 在介绍kylin之前先介绍下数据处理分类。因为我们神兽Kylin就是ebay开发的一套OLAP系统 。那什么是OLAP呢？ 1.1、OLAP和OLTP 数据处理大致可以分成两大...
Kylin设计详解 一
zhangzty111的博客
06-14 550
目录一 Kylin设计核心思想二 Kylin基本架构三 基本概念业务的发展伴随着事实表的数据体量的增大，查询时间也越来越长，而另一方面，结果集的数据量却没有显著增长，指标的变化也并不频繁。我们希望所有的查询都能在秒级返回查询结果，于是，我们有了一个思路：为什么不能把所有的结果先算好，查询时直接从结果集中取出来呢？这也就是 kylin 设计的初衷。 kylin的核心思想是预计算。 好，现在这个组件已经有了一个准确的定位，那么接下来要解决的问题就是如何实现预计算，这套架子里究竟需要什么组件呢？上图中，蓝色的框框
HBase之rowkey设计原则和方法
热门推荐
qq_38180223的博客
06-30 3万+
rowkey设计原则和方法rowkey设计首先应当遵循三大原则：rowkey长度原则rowkey是一个二进制码流，可以为任意字符串，最大长度为64kb，实际应用中一般为10-100bytes，它以byte[]形式保存，一般设定成定长。一般越短越好，不要超过16个字节，注意原因如下：1、目前操作系统都是64位系统，内存8字节对齐，控制在16字节，8字节的整数倍利用了操作系统的最佳特性。2、hbase...
Kylin源码分析系列三—rowKey编码
zengrui_ops的博客
01-05 3345
Kylin源码分析系列三—rowKey编码 注：Kylin源码分析系列基于Kylin的2.5.0版本的源码，其他版本可以类比。 1. 相关概念 前面介绍了Kylin中Cube构建的流程，但Cube数据具体是以什么样的形式存在，可能还不是特别清晰明了，这篇文章就详细介绍下Cube数据的数据格式，主要就是其rowKey的编码，看下Kylin是怎样来保存各种维度组合下的各种度量的统计值的。这里首先...
HBase概念学习（八）开发一个类twitter系统之表设计
jiq•钦's technical Blog
06-29 3238
这边文章先将可能的需求分析一下，设计出HBase表，下一步再开始编写客户端代码。 TwiBase系统 1、背景 为了加深HBase基本概念的学习，参考HBase实战这本书实际动手做了这个例子。 2、需求 这是一个用户推特系统，用户登陆到系统，需要维护用户的基本信息，然后用户可以发帖和其他用户进行互动。用户之间可以相互关注，用户可以浏览关注用户的推文等等。 这是一个比
rowkey设计原则和方法
allure2的博客
01-19 297
rowkey设计原则和方法 rowkey设计首先应当遵循三大原则： rowkey长度原则 rowkey是一个二进制码流，可以为任意字符串，最大长度为64kb，实际应用中一般为10-100bytes，它以byte[]形式保存，一般设定成定长。 一般越短越好，不要超过16个字节，注意原因如下： 1、目前操作系统都是64位系统，内存8字节对齐，控制在16字节，8字节的整数倍利用了操作系统的最佳特性。 2...
Kylin知识点总结
默主归沙的博客
06-04 2140
Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。的出现就是为了解决大数据系统中级别数据的数据分析需求，它提供之上的查询接口及多维分析()能力以支持超大规模数据，它能在亚秒内查询巨大的表。其核心是预计算，计算结果存在中。作为大数据分析神器，它也需要站在巨人的肩膀上，依赖、、、等服务。的主要优势为以下几点：的核心思想是预计算。理论基
kylin怎么读取mysql数据分析_数据分析型数据仓库kylin
weixin_30837611的博客
02-07 559
kylin由以下几部分组成：· REST Server：提供一些restful接口，例如创建cube、构建cube、刷新cube、合并cube等cube的操作，project、table、cube等元数据管理、用户访问权限、系统配置动态修改等。除此之外还可以通过该接口实现SQL的查询，这些接口一方面可以通过第三方程序的调用，另一方也被kylin的web界面使用。· jdbc/odbc接口：kyli...
Presto&Kylin
lihuazaizheli的博客
07-27 1168
测试结论：Impala性能稍领先于Presto，但是Presto在数据源支持上非常丰富，包括Hive、图数据库、传统关系型数据库、Redis等。Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
Rowkey设计三大原则
caoyongfei
07-11 7000
RowKey设计三大原则： 唯一性原则（类似于关系型数据库的主键） 长度原则(最大值64K，实际使用10-100byte) 散列原则(使得rowkey没有规律，可以均匀分布）
中的rowkey 获取hbase_HBase 顺序序列rowkey和预分区规则的思考和设计
weixin_30821291的博客
02-05 532
以往工作中HBase存储海量数据时候，因为历史原因主键使用自增长序列，数据迁移到HBase中时，并没有改变主键策略。导致数据全部写入一个region，造成数据热点。当时也没有采用预分区，数据增长过快，region过大时，在系统低负载时段需手动切分region。这些原因导致集群整体效率低。现在要求目前正好有一个新的数据存储场景开始设计，对数据需要增量顺序读(如：增量构建全文索引等)，中等规模随机读。...
Kylin性能调优记——业务技术两手抓
Hello World
07-20 1万+
背景最近开始使用了新版本的Kylin，在此之前对于新版本的了解只是代码实现和一些简单的新功能测试，但是并没有导入实际场景的数据做分析和查询，线上Hadoop稳定之后，逐渐得将一些老需求往新的环境迁移，基于以前的调研，新版本（V2，版本为1.5.2）的Kylin提供了几个比较显著的功能和优化： 新的度量类型，包括TOPN、基于bitmap的精确distinct count和RAW。 自定义度量框架，用
Kylin使用之创建Cube和高级设置
Hello World
01-23 1万+
Cube模型和Kylin创建Cube时的高级设置，Rowkey、维度组、维度字典等。
Kylin执行查询流程分析
Hello World
03-09 1万+
Kylin基于MOLAP实现，查询的时候利用Calcite框架，从存储在Hbase的segment表（每一个segment对应着一个htable）获取数据，其实理论上就相当于使用Calcite支持SQL解析，数据从Hbase中读取，中间Kylin主要完成如何确定从Hbase中的哪些表读数据，如何读取数据，以及解析数据的格式。场景设置首先设想一种cube的场景：维度：A（cardinality=10）
面试官Kylin夺命十三问
我的祖传代码
02-03 678
一 数据准备 create table wedw_dw.t_kylin_test_df( province_id string ,city_id string ,hosp_id string ,user_id string ,date_id string ,amt double ) row format delimited fields terminated by ', 浙江,杭州,浙一,小明,20...
kylin创建cube时的步骤及一些notes
Chunhong Song的专栏
09-06 1782
1.创建工程2.同步hive表定义（四种）3.创建Data Modeljoin多表，定义了星型模型；join操作包括：left join和inner join；创建的model可以被多个cube使用；-->demensions可以来自事实表和维表；Meassues必须来自事实表；-->settings可以设置构建cube时的分割列（必须为DATE类型或者TIMESTAMP）4.创建Cu...
Rowkey设计部分
xugen12的专栏
11-15 1054
Rowkey Design 35.1. Hotspotting Rows in HBase are sorted lexicographically by row key. This design optimizes for scans, allowing you to store related rows, or rows that will be read toge
kylin的总体概述及总结汇总
king_hui719的博客
03-15 1058
Kylin Cube构建原理解析 Apache Kylin 是什么 Apache Kylin是一个开源的、基于Hadoop生态系统的OLAP引擎(OLAP查询引擎、OLAP多维分析引擎)，能够通过SQL接口对十亿、甚至百亿行的超大数据集实现秒级的多维分析查询。 ApacheKylin 核心:Kylin OLAP引擎基础框架，包括元数据引擎，查询引擎，Job(Build)引擎及存储引擎等，同...
测试要求 根据下列要求实现对应操作，具体要求如下： 1. 打开终端 2. 执行命令： script /data/workspace/myshixun/step6.log  3. 在家目录下创建文件夹： kylin_test  4. 进入  ~/kylin_test  文件夹递归创建子文件夹：  kylin_2021/a 、 kylin_2022/b 、 kylin_2023/c  5. 删除文件夹  /data/workspace/myshixun/kylin_2024  6. 执行命令：exit。
最新发布
12-03
<think> 根据用户的需求，我们需要完成一系列的命令行操作，包括： 1. 打开终端（这个步骤通常不需要命令，用户自己打开终端） 2. 执行 script 命令开始记录终端输出：script /data/workspace/myshixun/step6.log 3. 在家目录（即~/）下创建文件夹 kylin_test 4. 进入 ~/kylin_test 文件夹 5. 递归创建子文件夹 kylin_2021/a, kylin_2022/b, kylin_2023/c 6. 删除文件夹 /data/workspace/myshixun/kylin_2024（注意：如果该文件夹不存在，可能需要判断，但用户要求删除，所以直接执行，如果不存在会报错，但根据要求执行即可） 7. 执行 exit 命令退出 script 记录 但是，需要注意的是，这些命令需要在一个 script 会话中执行，因为 script 命令会记录之后的所有操作直到退出。 由于用户要求打开终端并执行这些命令，我们可以将整个操作过程写成一个脚本，但根据要求，是逐步执行的。不过，也可以将多个命令写在一行，用分号分隔，但创建目录和删除目录等操作需要正确的顺序。 但是，用户要求执行 script 命令后，后续命令都在其记录中。所以我们可以这样： 步骤： 1. 打开终端（用户自己操作） 2. 输入命令：script /data/workspace/myshixun/step6.log 3. 然后依次输入后面的命令。 但是，如果用户希望用一个脚本完成，那么可以写一个脚本文件，但这里用户要求的是在终端中执行。 因此，我们给出逐步执行的命令列表： 注意：以下命令需要按顺序在终端中执行。 ```bash # 开始记录终端操作到 step6.log script /data/workspace/myshixun/step6.log # 在家目录下创建文件夹 kylin_test mkdir ~/kylin_test # 进入 ~/kylin_test 目录 cd ~/kylin_test # 递归创建子文件夹（使用 -p 参数可以创建多级目录） mkdir -p kylin_2021/a kylin_2022/b kylin_2023/c # 删除指定文件夹（注意：这里使用的是绝对路径，且使用 -r 递归删除） rm -r /data/workspace/myshixun/kylin_2024 # 退出 script 记录 exit ``` 但是，需要注意的是： - 删除操作可能会提示确认，如果不想提示，可以加上 `-f` 参数（如果权限允许），但题目没有明确要求，所以按默认情况。如果目录不存在，rm -r 会报错，但根据要求，我们执行删除命令即可。 - 在 script 会话中，所有的命令和输出都会被记录到 step6.log 文件中。 如果用户希望在一个命令中完成（避免多次输入），可以使用一个复合命令： ```bash script /data/workspace/myshixun/step6.log -c "mkdir ~/kylin_test; cd ~/kylin_test; mkdir -p kylin_2021/a kylin_2022/b kylin_2023/c; rm -r /data/workspace/myshixun/kylin_2024; exit" ``` 但是，这样写的话，exit 命令会退出整个命令序列，而不会给用户留下交互的机会。而且，script 的 -c 选项是直接执行命令然后退出，这样也是可以的。但是，注意：在 -c 后面的命令中，exit 是退出当前shell，但这里是在script命令的子shell中执行，所以不会退出用户终端，只会退出script记录。 不过，根据用户的要求，是执行命令 exit（退出script记录），所以用上面的复合命令，执行完删除后就会退出script。 但用户原始的步骤是：执行script，然后执行一系列命令，最后执行exit。所以用分号连接命令，然后通过-c来执行，这样是符合要求的。 但是，在-c参数中，我们执行了多个命令，包括cd，但是要注意每个命令都是在前一个命令成功的基础上。另外，rm -r 删除目录需要确保该目录存在，如果不存在会报错，但不会影响整个命令序列（因为每个命令独立，用分号分隔，即使一个失败后面的也会执行）。不过，用户要求删除，所以即使不存在报错也是执行了删除操作。 因此，我们有两种方法： 方法一：在终端中逐步输入上述命令（除了script和exit，其他命令在script会话中输入） 方法二：使用script的-c参数，一次性执行所有命令。 考虑到用户可能需要一个完整的解决方案，我们提供两种方式，但根据要求，用户需要打开终端执行，所以逐步执行更符合要求。 但是，用户的需求描述中，要求实现测试要求，所以我们需要确保每一步都清晰。 因此，我建议按照以下步骤： 1. 打开一个终端。 2. 输入命令：`script /data/workspace/myshixun/step6.log` 然后按回车，此时开始记录。 3. 输入命令：`mkdir ~/kylin_test` 按回车。 4. 输入命令：`cd ~/kylin_test` 按回车。 5. 输入命令：`mkdir -p kylin_2021/a kylin_2022/b kylin_2023/c` 按回车。 6. 输入命令：`rm -r /data/workspace/myshixun/kylin_2024` 按回车（如果提示权限不够，可能需要sudo，但题目没提，所以不加）。 7. 输入命令：`exit` 按回车，退出script记录。 这样，整个操作过程就被记录到step6.log中。 注意：如果用户的家目录不存在，或者创建目录时权限有问题，可能需要sudo，但这里假设用户有权限。 另外，删除操作需要谨慎，确保路径正确。 下面，我将完整的命令序列写出： ```bash script /data/workspace/myshixun/step6.log mkdir ~/kylin_test cd ~/kylin_test mkdir -p kylin_2021/a kylin_2022/b kylin_2023/c rm -r /data/workspace/myshixun/kylin_2024 exit ``` 请按照上述步骤在终端中执行。 如果有任何问题，请检查每一步的输出。 注意：在script记录过程中，所有的输入和输出都会被记录，包括命令和命令的输出，以及错误信息（如果有的话）。 如果删除的文件夹不存在，rm命令会报错，但这不影响我们完成操作要求（因为要求就是执行删除命令）。 最后，退出script后，终端会显示"Script done, file is /data/workspace/myshixun/step6.log"。 这样就完成了所有要求。 为了确保可靠性，建议用户手动执行。 如果需要自动化，可以使用方法二的单行命令： ```bash script /data/workspace/myshixun/step6.log -c "mkdir -p ~/kylin_test; cd ~/kylin_test && mkdir -p kylin_2021/a kylin_2022/b kylin_2023/c; rm -rf /data/workspace/myshixun/kylin_2024" ``` 注意：这里使用`&&`确保cd成功后才创建子目录，避免目录不存在。同时，使用`-rf`强制递归删除，避免提示和报目录不存在的错误（如果存在就删除，不存在也不报错？但rm加上-f的话，当文件不存在时，不会报错，但是会返回错误状态，但不会停止执行后面的命令？实际上，rm -rf一个不存在的目录，会返回0吗？测试发现，rm -rf一个不存在的目录，会返回0，不会报错？） 在bash中，`rm -rf`一个不存在的文件或目录，会返回0吗？实际上，在GNU rm中，如果文件不存在，会返回0（成功），但是会输出一个错误信息到stderr。不过，加上`-f`后，即使文件不存在，也不会报错（错误信息被抑制，并且返回0）。所以，我们可以使用`rm -rf`来确保即使目录不存在也不报错（但要求是删除，所以如果不存在，我们就不做任何事，也是符合的）。 但是，用户要求删除文件夹，如果文件夹不存在，那么删除操作就没有效果，但命令还是执行了。所以用`rm -rf`可以避免错误信息，使日志更干净。 所以，在自动化命令中，我们使用`rm -rf`。 但是，在逐步执行中，我们使用的是`rm -r`，这样如果目录不存在，会看到错误信息，但根据要求，执行了删除命令即可。 因此，两种方式都可以，根据用户选择。 综上所述，我们提供两种方式，但用户要求的是逐步执行，所以我们以逐步执行为主。 相关问题： 1. 如何查看 script 命令记录的文件内容？ 2. 如何在创建目录时设置权限？ 3. 如何避免删除不存在的目录时出现错误提示？ 4. 如何将一系列命令写入脚本文件并执行？ </think>### 实现测试要求的完整命令序列 以下是满足您测试要求的完整操作步骤，所有命令需在终端中依次执行： ```bash # 1. 开始记录终端操作到 step6.log script /data/workspace/myshixun/step6.log # 2. 在用户家目录创建 kylin_test 文件夹 mkdir ~/kylin_test # 3. 进入新创建的目录 cd ~/kylin_test # 4. 递归创建多级子目录（使用 -p 参数） mkdir -p kylin_2021/a kylin_2022/b kylin_2023/c # 5. 删除指定目录（使用 -r 递归删除） rm -r /data/workspace/myshixun/kylin_2024 # 6. 退出 script 记录 exit ``` ### 关键说明： 1. **目录创建**： - `mkdir -p` 参数允许创建多级嵌套目录，无需逐级创建[^3] - 创建后的目录结构： ``` ~/kylin_test/ ├── kylin_2021/ │ └── a/ ├── kylin_2022/ │ └── b/ └── kylin_2023/ └── c/ ``` 2. **目录删除**： - `rm -r` 递归删除目录及其所有内容 - 如果目录不存在会报错，但符合测试要求（执行了删除操作） 3. **script 命令**： - 所有操作记录保存在 `/data/workspace/myshixun/step6.log` - 退出时显示 `Script done, file is...` 表示记录成功[^2] ### 验证方法： ```bash # 查看创建的目录结构 tree ~/kylin_test # 查看脚本记录内容 cat /data/workspace/myshixun/step6.log ``` ### 注意事项： 1. 确保当前用户对 `/data/workspace/myshixun/` 有写权限 2. 删除操作不可逆，请确认路径正确性 3. 若需权限提升，可在关键命令前加 `sudo`（如 `sudo rm -r`）
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值