求解答贴：KYLIN CUBE BUILD问题

最新推荐文章于 2024-07-13 19:52:16 发布
原创 最新推荐文章于 2024-07-13 19:52:16 发布 · 256 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kylin

博客讨论了Apache Kylin中遇到的cube元数据混乱问题，可能由cube克隆或元数据迁移引起。解决方案包括手动修改cube_desc、重新刷新或删除重建cube，并使用metastore的clean操作。建议谨慎操作，以防数据丢失。

kylin有2个cube，在Extract Fact Table Distinct Columns 这一步

一个能正常运行，看到加载的信息是这个
Initialized a new KylinConfig from getInstanceFromEnv : 254918854  

另外一个不能正常执行，加载的环境信息是这个
Initialized a new KylinConfig from getInstanceFromEnv : 748975217  

有操作修改过失败cube的相关维度信息

问：有遇到这个问题的大神吗？

==========

2021-12-02 这个问题是因为kylin的元数据存在混乱，极大概率出现的原因是：cube的clone（clone后的名字和之前一样，之前的删除掉）或者在元数据迁移的时候

可以手动修改cube_desc再重新刷回去，但存在风险，最简单的做法是：删除新建一个不一样的，然后使用metastore的clean操作，清空后再重新改回之前的cube名称

大数据Kylin（七）：Kylin构建Cube实战
Lansonli（蓝深李）的博客
03-07 767
根据“CreateData.java”文件生成对应的事实表，然后执行SQL语句将对应的维度表和事实表导入到Hive中。维度表region_tbl，数据如下：G01|北京G02|江苏G03|浙江G04|上海G05|广州维度表city_tbl，数据如下：G01|G0101|朝阳G01|G0102|海淀G02|G0201|南京G02|G0202|宿迁G03|G0301|杭州G03|G0302|嘉兴G04|G0401|徐汇G04|G0402|虹口G05|G0501|广州。
kylin: build cube Hbase: Region Server 意外退出
萌兔兔MMQ！！
09-29 289
背景 跑kylin 的 build cube 任务，总是在跑任务（数据量200M）的时候挂掉，各种调节yarn的参数都不行。 在这里插入图片描述 关键跑的时候还没涉及到hbase,因为我跑的是kylin on druid，但是总是跑着跑着，直接ERROR，查看hbase发现。 不良 : 该角色在之前的 3 分钟 中遇到 1 次意外退出。这包括由于 OutOfMemory 错误而导致的 1 退出。 临界阈值：任意。 1 2 然后死掉 在这里插入图片描述 在这里插入图片描述 页面上还有这个错 Java HotS
Kylin Cube Build(一)：接口说明
Copperfield的技术成长专栏
08-23 2562
Kylin Job Build流程Cube的三种构建类型在CubeBuildTypeEnum中定义了三种类型的build job
Apache Kylin Build cube 过程详解、遇到的问题与解决过程、优化思路
终回首的博客
03-08 1582
Apache Kylin的cube的构建过程所做的操作；构建过程中出现过的问题和解决过程；构建过程每一步的优化思路。
Apache Kylin原理学习之Cube的创建与Build
勤能补拙
04-26 2630
原文地址：http://lxw1234.com/archives/2016/05/655.htm Cube是一种典型的多维数据分析技术，一个Cube可以有多个事实表，多个维表构成。如果您还不了解这些概念，建议您搜索下数据仓库、OLAP、Cube、星型模型、事实表、维度表等等。比如一个简单例子，分析网站流量的Cube，包含一个事实表和四个维度表： 事实表可能有以下字段： 天、来源ID、浏览器ID
kylin报错及解决方案总结
zhangxiaomei1952的博客
02-06 1万+
一、在build cube这一步中报错：Value not exists! 查询该步的mr日志，提示 Not a valid value：2017-05-31，有两种可能 1.该错误是由于build过程中，所引用的维表数据发生了变化，使用该值查询维表，维表中不存在这条数据。 2.olap表关联了维表，但只使用了关联字段，如果olap表的code在维表里不存在，则会报错
Kylin 的cube创建成功 但Build失败
Cruise的博客
06-05 2912
Create and distribute table, cmd: hive -e "SET dfs.replication=2; SET hive.exec.compress.output=true; SET hive.auto.convert.join.noconditionaltask=true; SET hive.auto.convert.join.noconditionaltask.si
大数据的魔方：Kylin Cube构建全解析
2401_85702623的博客
06-30 1043
Kylin Cube是一种多维数据模型，它允许用户根据业务需求预先计算并存储数据的聚合结果，从而实现对大数据集的快速查询。在Kylin中，首先需要定义数据模型，包括选择事实表和维度表，以及它们之间的关系。Kylin Cube的构建是实现大数据快速分析的关键步骤。本文详细介绍了Cube构建的准备工作、步骤、工作原理以及性能优化技巧。通过本文的学习，你现在应该已经掌握了如何在Kylin中构建和优化Cube，为大数据分析项目提供强大的支持。
弹性构建：Kylin Cube构建失败的智能重试机制
最新发布
2402_85761468的博客
07-13 682
Kylin是否支持Cube构建失败的重试，以及如何实现这一功能，是本文将要探讨的主题。Kylin提供了对Cube构建失败重试的支持，这有助于提高Cube构建的可靠性和系统的稳定性。通过配置重试策略和使用Kylin CLI或REST API，可以灵活地处理构建失败的情况。本文详细介绍了Kylin中Cube构建失败重试的机制，并提供了示例代码。在实际应用中，开发者可以根据具体的业务需求和环境条件，合理配置和使用重试功能。Cube构建是一个资源密集型的过程，涉及数据的聚合、模型的构建和存储。
黑猴子的家：Kylin 快速入门之 Build Cube Error 解决和总结
黑猴子的博客
02-07 1403
1、kylin在build报错10020拒绝链接错误 1）logs org.apache.kylin.engine.mr.exception.MapReduceException: Exception: java.net.ConnectException: Call From dxt102/192.168.1.102 to 0.0.0.0:10020 failed on conne...
kylin中cube的build过程中，有没有遇到这个
xiaopeng9275的博客
04-08 1491
java.lang.RuntimeException: org.apache.kylin.job.exception.PersistentException: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=1, exceptions: Mon Apr 08 16:43:50 GMT+0...
kylin填坑记--创建cube时遇到的两个坑
臭臭猫
04-10 7397
创建cube时，最容易出错的地方就是在 Build Dimension Dictionary这步，也就是第四步。如下图这步，kylin后台会做很多关于字段的检查。遇到的两个坑，正是发生在这步，因为数据本身有这样的问题：第一，维度表中类型为longtext的字段description（存的描述信息，很长），其长度超出Short.MAX_VALUE（short值得范围：-32768-32767）。尽管...
kylin KV+cube方案分析
weixin_33775572的博客
01-27 647
2019独角兽企业重金招聘Python工程师标准>>> ...
【Kylin】Kylin中的cube构建
热门推荐
Hello World
12-20 2万+
kylin如何构建cube的，从原始数据（hive）到目标数据（hbase）的过程。
Kylin Cube Build(二)：构造任务链
Copperfield的技术成长专栏
07-06 1296
Kylin Cube Build的任务链构造 以MR_V2为例 构建过程的时序单位为step，在代码中有些step也称做task 初始化操作 构建cube的程序入口: new BatchCubingJobBuilder2(newSegment, submitter).build() 日志输出: logger.info("MR_V2 new job to BUI...
kylin创建cube
奋斗的小鸟专栏
09-25 2268
  创建立方体(Cube)   参考文档： 播客：http://tech.meiyou.com/?p=97 官网创建cube: http://kylin.apache.org/cn/docs15/tutorial/create_cube.html   Cube执行原理： 1、创建Cube: 2、编译Cube(Build Cube): 定义好Cube之后，Apa...
kylin build过程详解
resemble的博客
01-25 3409
目录 1. 计算cuboid文件 1.1 生成原始数据（Create Intermediate Flat Hive Table） 1.2 创建事实表distinct column文件（Extract Fact Table Distinct Columns） １.3 创建维度词典（Build Dimension Dictionary） 1.4 计算生成BaseCuboid文件（Build ...
kylin build cube 报错:kylin : killed by admin
养猪少年日记的博客
05-30 606
如题 在 Sandbox VM 中，YARN 不能给 MR job 分配请求的内存资源，因为 “inmem” cubing 算法需要更多的内存。您可以通过请求更少的内存来绕过这一步: 编辑 修改Kylin的配置文件conf/kylin_job_conf_inmem.xml减小对内存的申请大小： 将默认的参数（分配给map比较大的内存），如下： <property> <nam...
Kylin遇到的问题记录--#3 Extract Fact Table Distinct Columns
Shibuwodai_的博客
02-12 2538
问题：job执行到#3报错问题分析：由于报java heap space错，首先想到的是调大reduce、jvm这两个参数（我的另外一篇博文提到），结果还是不奏效。由于我是身边第一个吃螃蟹的人，只能硬着头皮接着考虑出现问题的原因，心态从焦虑逐渐沉静下来，仔细思考了自己的表此表仅有两个维度，但是每个维度的基数都特别大，其中一个10000+，另外一个2000000+后来又经过查看大量资料，发现这种基数...
kylin build cube 的时候 数组越界问题
03-08
对于这个问题，我可以...在 kylin build cube 的过程中，如果出现数组越界问题，可能是由于数据源中存在异常数据或者数据格式不规范导致的。解决方法可以通过检查数据源，对异常数据进行清洗或者调整数据格式来解决。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值