大数据-KyLin(麒麟)
分享
扫一扫
文章平均质量分 74
工作多年遇到的问题，与一些总结，注意事项等，有些是源码级别的讲解，同时整个博客是成体系的，里面有很多连接互相连接，问题都是拆开的，能让大家遇到问题的时候方便的解决问题，或者提供思路。
优惠券已抵扣
余额抵扣
还需支付
¥19.90
¥99.00
购买须知?
本专栏为图文内容，最终完结不会低于15篇文章。
订阅专栏，享有专栏所有文章阅读权限。
本专栏为虚拟商品，基于网络商品和虚拟商品的性质和特征，专栏一经购买无正当理由不予退款，不支持升级，敬请谅解。
九师兄
可免费问问题，可以一次订阅，终身免费问问题。工作多年遇到的问题，与一些总结，注意事项等，有些是源码级别的讲解，同时整个博客是成体系的，里面有很多连接互相连接，问题都是拆开的，能让大家遇到问题的时候方便的解决问题，或者提供思路。也可以单独找我解决问题。
展开
-
【kylin】两表内连接、kylin和hive对比
（2）查询 每种商品 卖了多少单，多少件,卖了多少钱。本测试分为两次测试,主要是数据量不同进行测试。（4）查看某类商品 一共买了多少钱？（3）查看哪一类商品买的数量最多？第一章两表内连接的KyLin测试。1.4 测试案例及其分析图表。1.3 数据量及其集群大小。（1）查询总共有多少条数据。（5）查看某天卖的商品最多？原创 2024-07-06 00:15:00 · 384 阅读 · 0 评论 -
kylin: NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf
kylin load hive data 报错后台日志2019-05-08 11:40:34,046 ERROR [http-bio-7070-exec-3] controller.TableController:197 : org/apache/hadoop/hive/conf/HiveConfjava.lang.NoClassDefFoundError: org/apache/hado...原创 2019-05-08 14:34:58 · 2863 阅读 · 1 评论 -
kylin启动：Failed to create /kylin
一：当在ubuntu下执行check_env.sh时遇到问题：KYLIN_HOME is set to /usr/local/apache-kylin-1.5.4.1-bin cat: invalid option -- '1' Try 'cat --help' for more information. -mkdir: Not enough arguments: expected 1 but ...原创 2019-05-09 09:40:37 · 1808 阅读 · 0 评论 -
java.io.IOException: InvalidResourceRequestException: Invalid resource request
做一次kylin计算选择mr进行计算cube，但是报错首先是这一报错，报错打开是yarn上的原因为2019-05-09 15:07:38,495 ERROR [Thread-52] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Could not deallocate container for task at...原创 2019-05-09 17:29:14 · 1706 阅读 · 0 评论 -
LoadDruidSegmentStep failed File does not exist: /druid/segments
1. 背景做kylin on druid 执行到报错，错误如下cube: druid_cube, segment: c96d5afd-dc13-8eb1-a6b6-ecd52b7b9a6dLoadDruidSegmentStep failed File does not exist: /druid/segments/druid_cube_0/c96d5afd-dc13-8eb1-a6b6...原创 2019-05-09 19:17:01 · 958 阅读 · 0 评论 -
LoadDruidSegmentStep failed SQLException: Cannot load JDBC driver class ‘com.mysql.jdbc.Driver‘
背景做kylin on druid 使用官网kylin的demo进行测试报错cube: druid_cube, segment: b0624d03-5a4c-2fbb-9430-ad3660d66ab6LoadDruidSegmentStep failed java.sql.SQLException: Cannot load JDBC driver class 'com.mysql.j...原创 2019-05-09 20:59:01 · 949 阅读 · 0 评论 -
hadoop: Operation category READ is not supported in state standby
1. 背景做kylin报错如下日志内容如下java.io.IOException: OS command error exit with return code: 1, error message: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed...原创 2019-05-14 20:33:54 · 1824 阅读 · 6 评论 -
【kylin】RegionMovedException: Region moved to: hostname=xxx port=60020 未解决
java.lang.RuntimeException: org.apache.kylin.job.exception.PersistentException: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=1, exceptions:Tue May 14 21:13:55 CST 2...原创 2019-05-14 21:27:41 · 1634 阅读 · 4 评论 -
kylin启动 -printf: unknown primary or operator spark jars not found
lcc@lcc apache-kylin-2.6.0-hbase1x$ bin/kylin.sh startRetrieving hadoop conf dir...KYLIN_HOME is set to /Users/lcc/soft/kylin/apache-kylin-2.6.0-hbase1x19/05/07 16:26:23 WARN util.NativeCodeLoader:...原创 2019-05-07 16:39:38 · 1309 阅读 · 0 评论 -
kylin启动netstat: n: unknown or uninstrumented protocol
检查hadoop配置的时候出现问题报错如下netstat: n: unknown or uninstrumented protocol熟悉linux 的人都知道这个肯定是使用了 netstat命令参数错误造成的。那么这个肯定是跟网络有关的，于是我很轻松的定位到了 check-port-availability.sh 这个脚本文件中。打开代码一看，果不其然，里面第26行使用了 netstat...原创 2019-05-07 16:44:14 · 3062 阅读 · 0 评论 -
《KyLin学习理解》-01-KyLin麒麟的简介及其思想
1。诞生背景 HIVE是数据仓库，是把存储在HDFS分布式文件系统的存储文件映射到类似于关系型数据库的东西。 举个例子： 假设有一个文件存储在本地/opt/hzjs/lcc_work/pro.txt文件，文件的格式为1 产品120 23 5 115 358 2069-03-272 产品16 63 3 189 9 2045-04-27原创 2017-07-16 12:57:26 · 9012 阅读 · 0 评论 -
90-70-010-源码-CUBE查询-源码
1.视界注：Kylin源码分析系列基于Kylin的2.6.0版本的源码，其他版本可以类比。1. 简介 前面文章介绍了Cube是如何构建的，那构建完成后用户肯定是需要对这些预统计的数据进行相关的查询操作，这篇文章就介绍下Kylin中是怎样通过SQL语句来进行Cube数据的查询的。 Kylin中的查询是在web页面上输入sql语句然后提交来执行相关查询，页面上的提交也是向Kylin的Rest Server发送restful请求，方法与前面文章介绍的Cube构建的触发方式类似，通过angularJ原创 2020-12-05 15:49:24 · 230 阅读 · 0 评论 -
90-50-010-源码-hbase的rowkey设计
1.视界1. rowKey编码概述 注：Kylin源码分析系列基于Kylin的2.6.0版本的源码，其他版本可以类比。2. 相关概念 前面介绍了Kylin中Cube构建的流程，但Cube数据具体是以什么样的形式存在，可能还不是特别清晰明了，这篇文章就详细介绍下Cube数据的数据格式，主要就是其rowKey的编码，看下Kylin是怎样来保存各种维度组合下的各种度量的统计值的。这里首先介绍下Cube数据立方的相关概念。2.1 事实表Fact Table事实表（Fact Table）是中心表，包原创 2020-12-05 15:45:31 · 275 阅读 · 0 评论 -
90-40-010-源码-CUBE-引擎为MR写入Habse的构建
1.视界1.概述从源码来看Cube的构建过程：在Kylin页面上点击build后，触发的是一个任务提交的流程，该任务提交的流程简要介绍下：2. Web 界面1.页面点击Submit按钮，通过js触发rebuild事件，发送restful请求：<button class="btn btn-success" ng-click="rebuild()" ng-disabled="jobBuildRequest.endTime<=0" disabled="disabled">Submi原创 2020-12-05 15:44:45 · 231 阅读 · 0 评论 -
90-40-010-源码-CUBE-引擎为MR写入Druid的构建
1.视界1.概述从源码来看Cube的构建过程：在Kylin页面上点击build后，触发的是一个任务提交的流程，该任务提交的流程简要介绍下：2. Web 界面1.页面点击Submit按钮，通过js触发rebuild事件，发送restful请求：<button class="btn btn-success" ng-click="rebuild()" ng-disabled="jobBuildRequest.endTime<=0" disabled="disabled">Submi原创 2020-12-05 15:44:05 · 225 阅读 · 0 评论 -
90-40-009-源码-CUBE-引擎为Spark写入Hbase本
1.视界1.概述从源码来看Cube的构建过程：在Kylin页面上点击build后，触发的是一个任务提交的流程，该任务提交的流程简要介绍下：2. Web 界面1.页面点击Submit按钮，通过js触发rebuild事件，发送restful请求：<button class="btn btn-success" ng-click="rebuild()" ng-disabled="jobBuildRequest.endTime<=0" disabled="disabled">Submi原创 2020-12-05 15:43:06 · 247 阅读 · 0 评论 -
90-30-020-源码-任务调度-Kylin任务调度
1.视界1. 概述Kylin源码分析系列一—任务调度 注：Kylin源码分析系列基于Kylin的2.6.0版本的源码，其他版本可以类比。 Kylin在Web上触发Cube的相关操作后并不是马上执行相关的操作，而是将构建的任务提交到任务调度服务，任务调度服务每隔一段时间会将提交了未执行的job进行调度执行，默认是30s调度一次，可根据配置项kylin.job.scheduler.poll-interval-second来配置调度时间间隔。任务调度服务的服务类为`JobService`，包路径：原创 2020-12-05 15:42:18 · 256 阅读 · 0 评论 -
90-20-010-源码-调试-Kylin-2.6.0源码调试
文章目录1.视界1. Kylin运行的几个部分1.1 Tomcat配置系统1.2 Shell程序1.3 分布式计算2 调试方法2.1 添加调试开关1.视界1. Kylin运行的几个部分1.1 Tomcat配置系统大家知道, Kylin有一个比较友好的对外Web配置系统, 底层是基于tomcat的服务.1.2 Shell程序Kylin在运行一些与Hive, HBase的命令时，是使用shell命令直接执行的.1.3 分布式计算1.5之前, Kylin的底层系统使用的是MR; 1.5以后,原创 2020-12-05 15:41:20 · 248 阅读 · 0 评论 -
【Kylin】60-20-040-集成-Kylin集成LDAP
Apache Kylin 版本：2.5.2在生产环境下，通过集成 LDAP 实现了 Apache Kylin 的身份认证。生成密码为了安全起见，conf/kylin.properties 配置文件中的密码是通过 AES 算法加密的。将密码明文加密为密文，执行命令：cd $KYLIN_HOME/tomcat/webapps/kylin/WEB-INF/lib java -classpath kylin-server-base-2.5.2.jar:kylin-core-common-2.5.2..原创 2020-12-05 15:40:17 · 422 阅读 · 1 评论 -
60-10-015-集成-(kylin On Druid)-Build CUBE的时候每一步都做了什么
文章目录1.视界1.背景2.整体情况3. Detail Information4. Create Intermediate Flat Hive Table5 Redistribute Flat Hive Table6.Extract Fact Table Distinct Columns7. Build Dimension Dictionary8 Save Cuboid Statistics9 Calculate Shards Info10 Update Druid Tier构建配置Hive 客户端 & SparkSQL配置 JDBC 数据源数据类型精度Cube原创 2020-08-02 16:14:06 · 664 阅读 · 1 评论 -
30-10-010-编译-kylin-on-druid-2.6.0-CDH57编译
1.视界1. 下载kylingit clone https://github.com/apache/kylin kylin2. 安装maven、nodejs1.maven的安装参照百度，这里不再赘述2.nodejs的安装参考<http://www.runoob.com/nodejs/nodejs-install-setup.html本人是mac 直接pak安装lcc@lcc soft$ node -vv10.14.23. 编译kylin1.解压kylintar -xzvf原创 2020-08-02 16:12:33 · 544 阅读 · 0 评论 -
20-10-032-安装-KyLin-2.6.1-单机版安装（MAC官网下载)
文章目录1.视界1. 官网2. 安装要求2.1 软件要求2.2 硬件要求2.3 Hadoop 环境3. 本次环境4. HBASE 1.2.0安装5. kylin 安装6. 检查zk jar7. 启动Hbase8.添加依赖9.添加kylin的hadoop环境8.检查运行环境9.启动 Kylin9.1 使用 Kylin9.2 停止 Kylin10.验证11.结论Q.错误集锦问题1 无法启动1.视界1. 官网安装： http://kylin.apache.org/cn/docs/install/index原创 2020-08-02 16:11:48 · 699 阅读 · 0 评论 -
20-10-026-安装-KyLin-2.6.0-单机版安装（MAC官网下载)-spark引擎
文章目录1.视界1. 官网2. 安装要求2.1 软件要求2.2 硬件要求2.3 Hadoop 环境3. 本次环境4. HBASE 1.2.0安装5. kylin 安装6. 检查zk jar7. 启动Hbase8.添加依赖9.添加kylin的hadoop环境8.检查运行环境9.启动 Kylin9.1 使用 Kylin9.2 停止 Kylin10.验证11.结论Q.错误集锦问题1 无法启动1.视界1. 官网安装： http://kylin.apache.org/cn/docs/install/index原创 2020-08-02 16:11:03 · 721 阅读 · 0 评论 -
20-10-025-安装-KyLin-2.6.0-单机版安装（MAC官网下载）成功
文章目录1.视界1. 官网2. 安装要求2.1 软件要求2.2 硬件要求2.3 Hadoop 环境3. 本次环境4. HBASE 1.2.0安装5. kylin 安装6. 检查zk jar7. 启动Hbase8.添加依赖9.添加kylin的hadoop环境8.检查运行环境9.启动 Kylin9.1 使用 Kylin9.2 停止 Kylin10.验证11.结论Q.错误集锦问题1 无法启动1.视界1. 官网安装： http://kylin.apache.org/cn/docs/install/index原创 2020-08-02 16:10:26 · 730 阅读 · 0 评论 -
20-10-023-安装-KyLin-2.5.2-单机版安装（MAC）成功
文章目录1.视界1. 官网2. 安装要求2.1 软件要求2.2 硬件要求2.3 本次环境2.3 Hadoop 环境3. 下载解压4.检查运行环境5.启动 Kylin使用 Kylin停止 KylinQ.错误集锦问题1 无法启动问题21.视界1. 官网安装： http://kylin.apache.org/cn/docs/install/index.html2. 安装要求2.1 软件要求- Hadoop: 2.7+, 3.1+ (since v2.5)- Hive: 0.13 - 1.2.1+原创 2020-08-02 16:08:49 · 632 阅读 · 0 评论 -
20-10-020-安装-KyLin-2.1.3单机版安装（MAC）
文章目录1.视界1. 官网2. 安装要求2.1 软件要求2.2 硬件要求2.3 Hadoop 环境3. 下载解压4.检查运行环境5.启动 Kylin使用 Kylin停止 KylinQ.错误集锦q.1 无法启动1.视界1. 官网安装： http://kylin.apache.org/cn/docs/install/index.html2. 安装要求2.1 软件要求- Hadoop: 2.7+, 3.1+ (since v2.5)- Hive: 0.13 - 1.2.1+- HBase: 1.原创 2020-08-02 16:07:53 · 679 阅读 · 0 评论 -
10-20-010-简介-目录-Kylin目录详解
文章目录1.视界1. Kylin二进制源码目录解析**2. HDFS 目录结构2.1 cardinality2.2 coprocessor2.3 kylin-job_id2.4 resources2.5 jdbc-resources3.Zookeeper存储4. Hive表5. HBase表1.视界1. Kylin二进制源码目录解析**bin: shell 脚本，用于启动/停止Kylin，备份/恢复Kylin元数据，以及一些检查端口、获取Hive/HBase依赖的方法等；conf: Hadoop原创 2020-08-02 16:07:06 · 548 阅读 · 0 评论 -
KyLin的坑总结
坑1：KyLin中不能使用 ！= 不等于符合，否则会报错，但是某些业务需要用不等于，kylin中也不能使用 <> 不等于，用or的话，可能会短路。 解决：新建一个字段区分，不等于的两种状态。原创 2017-07-19 15:13:27 · 3939 阅读 · 2 评论 -
Current HIVE_LIB is not valid, please export HIVE_LIB='YOUR_LOCAL_HIVE_LIB'
问题1：hive依赖检查出现问题，没有通过检查错误如下：find: -printf: unknown primary or operatorCurrent HIVE_LIB is not valid, please export HIVE_LIB='YOUR_LOCAL_HIVE_LIB'错误原因：mac 下面 find 查找文件命令行不支持 -printf ‘%p:’ ，出错位置是在...原创 2019-05-07 16:28:36 · 1008 阅读 · 0 评论 -
Kylin 2.6.0JDBC方式访问
Kylin提供了标准的ODBC和JDBC接口，能够和传统BI工具进行很好的集成。分析师们可以用他们最熟悉的工具来享受Kylin带来的快速。本章节介绍通过Java程序调用Kylin的JDBC接口访问Kylin的Cube数据。1.url首先我们来看一下连接Kylin的URL格式为：jdbc:kylin://<hostname>:<port>/<kylin_proj...原创 2019-05-10 16:03:04 · 1039 阅读 · 0 评论 -
AttemptID:attempt_1557891872692_0001_r_000000_0 Timed out after 3600 secs
背景做kylin 的时候，执行了 hive的命令，是hive数据的重新分布结果在reduce的时候阻塞了。查看原因为AttemptID:attempt_1557891872692_0001_r_000000_0 Timed out after 3600 secs这个问题出现的背景是：商品表 txt文件 5.4G 一共1亿数据类别表 17M 100万条数据临时解决办法是...原创 2019-05-15 17:03:35 · 3123 阅读 · 1 评论 -
TaskAttempt killed because it ran on unusable node IP:8041 Container released on a *lost* node
背景执行一个kylin任务然后报错TaskAttempt killed because it ran on unusable nodekylin1.dtwave.dev.local:8041 Container released on a *lost* node但是看着集群主机都在的。看着也没问题，但是不知道为什么报错。...原创 2019-05-15 21:14:06 · 2835 阅读 · 2 评论 -
is running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 2.6 GB
背景执行一个kylin任务然后报错TaskAttempt killed because it ran on unusable nodekylin1.dtwave.dev.local:8041 Container released on a *lost* nodeContainer [pid=17923,containerID=container_1557923446198_0007_...原创 2019-05-15 21:23:56 · 3553 阅读 · 0 评论 -
kylin: build cube Hbase: Region Server 意外退出
背景跑kylin 的 build cube 任务，总是在跑任务（数据量200M）的时候挂掉，各种调节yarn的参数都不行。关键跑的时候还没涉及到hbase,因为我跑的是kylin on druid，但是总是跑着跑着，直接ERROR，查看hbase发现。不良 : 该角色在之前的 3 分钟 中遇到 1 次意外退出。这包括由于 OutOfMemory 错误而导致的 1 退出。 临界阈值：任意。...原创 2019-05-16 20:53:49 · 1465 阅读 · 0 评论 -
KyLin的网页界面使用
1。根据上一张分析的内容得知。 涉及到的字段是 pro表的 字段： ID 商品名称 价格 购买数量 付款 类别ID 时间 聚合函数：sum(num) ,sum(pay) cate表的 字段：ID 类别名称 聚合函数：无 2。首先我们要设计建表语句create table prob(id bigint,name原创 2017-07-17 12:43:48 · 4258 阅读 · 1 评论