Kylin增量cube build的restAPI的时间不准确的BUG

最新推荐文章于 2020-07-28 17:43:56 发布

xiaolinzi007

最新推荐文章于 2020-07-28 17:43:56 发布

阅读量3.5k

点赞数 2

分类专栏： kylin olap 文章标签： kylin olap bigdata

本文链接：https://blog.youkuaiyun.com/xiaolinzi007/article/details/78293061

版权

kylin 同时被 2 个专栏收录

2 篇文章

订阅专栏

olap

2 篇文章

订阅专栏

本文介绍了在使用Kylin 1.6版本中，通过REST API进行增量cube构建时遇到的时间不准确问题。具体表现为设置的构建时间与实际执行时间相差8小时。原因是服务器端源码使用固定的GMT时区，而前端UI会根据配置进行时区转换。解决方案包括在调用API时手动转换时区或修改Kylin代码以动态获取配置的时区。作者还探讨了Kylin设计的可能意图，并建议文档中明确此问题，以帮助REST API用户避免困惑。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

  Kylin1.6增量cube build的restAPI的时间不准确的bug: 
 
 

 
 描述：使用restAPI:curl -X PUT -u "ADMIN:KYLIN" -H "Content-Type:application/json;charset=utf-8" -d '{"startTime":1508601600000,"endTime":1508688000000,"buildType":"BUILD"}' 
 http://172.17.60.45:7070/kylin/api/cubes/bi_dispatch_waiting_service_cube/rebuild 

 
 增量构建时间设置【2017-10-22~2017-10-23 
 】，但是实际时间cube的构建抽取数据时间确比设置时间提前1天(实际上是提前8小时)【2017-10-21 
 ~2017-10-22 
 】，但是使用kylinUI构建却没有问题，实际查看kylin源码发现，是由于kylin在server端源码使用的timezone固定为GMT而非配置的GMT+8，而前端UI会根据配置的timezone对页面添加的时间进行转换变GMT+8的时间，然后后端将GMT+8时间在转化为GMT的时间，所以kylinUI的cube构建时间不会出现错误，而使用restAPI构建cube时间不进行timezone转化就是出现时间不准确差8个小时的问题。 

 
 解决方案 
 ： 

 
 1. 调用rest API时手动进行时区转换 

 
 2.对kylin代码进行修改动态获取配置的timezone，但是修改code这个范围很大，前端UI和server端code都需要修改时间 

 
 KYLIN代码分析： 

  1. cube segment 的命名硬编码为使用时区GMT 

  2.前端UI会获取时区配置进行转换： 

  3.cube构建时间的传递的时间戳startTime和endtime都是使用DateFormat按照GMT时区转化对应的时间格式： 

  我在查看KYLIN文档时，没有看到对该问题的描述，在考虑KYLIN这种设计是想在server屏蔽timezone复杂度，使用同一的gmt时区处理时间，采用前端UI来处理传参的时间问题，但是忽略restAPI用户不会出里这种问题，应该在文档提前说明该问题，否则困扰使用restAPI的用户，以上皆为本人使用过程中遇到问题，如果错误请多谢支持，及时改正。 