linux 运行kylin自动rebuild脚本

最新推荐文章于 2024-05-25 01:24:09 发布
原创 最新推荐文章于 2024-05-25 01:24:09 发布 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #kylin

本文介绍了一个用于Kylin的定时构建脚本，通过curl命令实现远程调用API触发Kylin Cube的构建流程。该脚本能够计算指定的时间戳，并以此作为参数执行构建任务。

自己写的定时脚本，用于跑kylin的build方法

et=$[$(date -d "-1 day -2 hour -59 min" +%s%N)/1000000]
curl -X PUT -H "Authorization: Basic QURNSU46S1lMSU4=" -H 'Content-Type: application/json' -d '{"endTime":'${et}', "buildType":"BUILD"}' http://master:7070/kylin/api/cubes/cxOrderCube/rebuild

et变量是获取最晚时间，因为我这边定时是凌晨三点跑任务，所以是-2，59分

跑出来的结果是毫秒级时间，可直接用于传值

【银河麒麟服务器系统】银河麒麟系统重构rpm库
小铭同学的博客，持续更新linux操作系统相关技能实践
06-03 372
摘要：处理RPM数据库锁定的操作步骤：1）检查并终止占用进程；2）清理旧锁文件；3）校验数据库完整性；4）重建数据库；5）再次验证。通过这五步可解决因锁定或损坏导致的RPM操作问题，确保数据库正常运作。
kylin调优，项目中错误总结，知识点总结，kylin jdbc driver + 数据库连接池druid + Myba
jdtugfcg的博客
02-17 2386
kylin调优，项目中错误总结，知识点总结，kylin jdbc driver + 数据库连接池druid + Myba
Kylin系列5-Kylin每日自动构建Cube
只是甲的博客
01-22 734
文章目录一. Cube的Build概述二. 代码及实战参考: 一. Cube的Build概述 前面的步骤，我们创建好Cube后，需要手工点击Build，让Kylin去聚合数据 生产环境,Hive里的数据每天都会发生变化，那么我们Kylin预聚合的数据也需要每天进行更新。 此时我们需要通过脚本实现自动Build我们创建好的Cube，然后通过调度系统，进行定时调度。 二. 代码及实战 生成密钥 [root@hp3 kafkadata]# python -c "import base64; print base
Linux设置软件开机自启动的三种方式（中标麒麟、银河麒麟、ubuntu）
热门推荐
qq_45164331的博客
01-10 4万+
方法 利用Linux的 .desktop文件实现开机启动。 在/etc/xdg/autostart 目录下建立一个 test.desktop文件，并对文件进行以下编辑。 操作步骤 第一步：打开/etc/xdg/autostart目录 cd /etc/xdg/autostart 第二步：建立test.desktop文件 touch test.desktop 第三步：编写文件并保存 sudo vim test.desktop 添加如下代码： [Desktop Entry] Name=Test Exec=/
linux的开机启动设置
u010477231的博客
09-06 431
linux的开机启动设置 0 开机启动程序的区别 一般linux下都有/etc/int.d/目录和 /etc/rc.local文件，我们可以将开机要执行的命令写入rc.local文件，也可以编写程序管理脚本放入/etc/init.d/目录，这两种方式都可以实现程序/服务的开机自启动。 /etc/init.d目录下的脚本是系统初始化执行的脚本，而rc.local文件里的命令...
kylin通过API增量build
weixin_34168700的博客
03-22 366
官方文档参考：http://kylin.apache.org/cn/docs21/howto/howto_build_cube_with_restapi.html （写的不详细） 账户：我们使用的默认账户：ADMIN/KYLIN的basic认证码为：QURNSU46S1lMSU4= 格式如下：curl -X PUT -H "Authorization: Basic QURNSU46S1lMSU...
kylin-cube: 使用REST api来build, 自动构建cube
eyeofeagle的博客
04-19 1776
获取用户名密码： 被base64加密后的格式： UserName=ADMIN Password=KYLIN baseUsernamePasswd=`python -c "import base64; print base64.standard_b64encode('$UserName:$Password')"` 1, build/rebuild cube curl -X PUT \ -H "Au...
Linux中rpm和yum相关配置和命令以及源代码软件包安装流程示例 + 疑问分享
最新发布
变成我......
05-25 1249
深入分析 软件包类型、挂载、rpm软件包和yum的相关配置和命令，安装和卸载源代码软件包的步骤和示例安装流程，以及分享在安装中思考的疑问和解答思路。
【Kylin】大数据OLAP引擎
依旧的博客
05-13 3897
Kylin的诞生背景 Kylin-中国团队研发的，是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目 Hive的性能比较慢，支持SQL灵活查询，特别慢 HBase的性能快，原生不支持SQL - phoenix:可以写sql语句来查询hbase!! Kylin是将先将数据进行预处理，将预处理的结果放在HBase中。效率很高 Kylin的应用场景 Kylin 典型的应用场景如下： 用户数据存在于Hadoop HDFS中，利用Hive将HDFS文件数据以关系数据方式存取
Kylin的介绍及使用说明
SDKLHKJAS的博客
08-19 4579
介绍篇 Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中（目前还仅支持hbase），这段时间对mondrian和kylin都进行了使用，发现这两个系统是时间和空间的一个权衡吧，mondrian是一个ROLAP系统，所有的查询可以通过实时的...
kylin客户端（python编写）不能按照预期的segment进行rebuild
weixin_30274627的博客
01-08 144
kylin_client_tool 提供了对cube进行BUILD，REBUILD，MERGE功能，其中REBUILD却不能达到预期的效果按照指定的segment执行。 场景： 当我在kylin web页面对cube进行两次构建（分别是2000-01-01——2017-12-01, 2017-12-01——2017-12-02），我要对第二个段进行重构，执行python kylin_...
KYLIN 例行调度 自动BULID
_木子_简单_
08-24 4186
KYLIN提供RESTFUL 接口，通过请求&crontab 可实现例行调度 参考url: http://kylin.apache.org/docs15/howto/howto_use_restapi.html#get-job-status 实现步骤： 1、shell脚本加入下面代码实现BULID请求 java -jar KylinInterface.jar CUBE
构建后shell_【案例】分享最近写的一个调用kylin重新构建模型的脚本
weixin_30344519的博客
01-04 300
最近工作上有需要，写了一个shell脚本请求kylin刷新模型的，用于配置到调度平台。 需求是：传入模型名称，脚本实现请求kylin开始重构模型，并且要监控模型构建过程，完成构建以后才可以结束。 shell一门很古老的语言，功能很强大，但是可读性不高，不如python好用。这里之所以用shell脚本，是因为前期的调度认为都是通过shell脚本实现的，...
Kylin定时增量build
10-13 8715
#!/bin/bash ################################################################################################################### ## 脚本功能：之前脚本任务完成后，使用Kylin命令，增量更新Kylin cube ## 修改历史： # #####
kylin启动脚本
coisini.cn记录
10-17 688
kylin.sh #!/bin/bash cube_name=order_cube do_date=`date -d '-1 day' +%F` #获取 00:00 时间戳 start_date_unix=`date -d "$do_date 08:00:00" +%s` start_date=$(($start_date_unix*1000)) #获取 24:00 的时间戳 stop_date=$(($start_date+86400000)) curl -X PUT -H "Authoriz.
银河麒麟V10桌面版系统开机自启动
sw0807的博客
12-15 1万+
手动启动rc-local服务时会弹出“麒麟安全授权认证”的提示，点击该弹窗提示中“允许”按钮后，若不生效，则可以在在安全中心里添加/etc/rc.local文件列表或者直接关闭应用程序执行控制使其永久生效即可。步骤三：在弹出的“高级配置”窗口，点击“添加”按钮，选择rc.local文件所在的目录，即“/etc”，再在文件名称处输入“rc.local”，然后点击“打开”即可。步骤一：回到之前“应用保护”界面，在该页面应用程序执行控制处，选择“关闭”后，重启系统生效即可。
在shell中用kylin查询的引号问题
jyj019的博客
04-30 562
因开发需要在shell上编写脚本作为查询kylin相关数据，在查询的过程中因为引号导致列无法识别。后面在同事的l和x的帮助下得出了一个可以使用的解决方案，以供参考。
shell调度kylin的cube构建任务
weixin_37042673的博客
12-22 386
shell调度kylin的cube调度任务shell shell 1 #!/bin/bash 2 3 echo "kylin_host_port:${1}" 4 echo "cube_name:${2}" 5 6 kylin=${1} 7 cube=${2} 8 9 # 构建cube 10 uuidstr=`curl -X PUT --header "Authorization: Basic YWRtaW46S1lMSU4=" --header 'Content-
Kylin 操作方式（web UI ，JDBC，shell脚本,Zeppelin）
ChengYanan的博客
04-16 794
Web UI 查看属性 查询 注意：查询语句中事实表必须位于join的左边 Zeppelin 打开web端界面hadoop:8080,点击右上角的interpreter  然后再创建note  之后就可以输入查询语句进行查询操作 JDBC 依赖 <dependencies> <dependency> ...
Linux服务开发工具KYLin库使用详解
根据提供的文件信息，我们可以提炼出一系列关于Linux下服务程序开发的知识点，特别是涉及kylin-2.0-fc9-i686.tar.gz这一特定的开发库。以下内容将详细展开这些知识点。 ### Linux服务程序开发概述 Linux服务程序，...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值