夏天小厨的博客

【Kylin 技术贴倾情奉献——夏天小厨原创】Apache Kylin官宣它的定位是一款千亿级OLAP引擎，在其高性能的背后，Cube的构建显得至关重要。因此优化Cube也成为数据分析必不可少的技能之一，那为什么要优化Cube呢？因为随着维度数的增加，Cuboid的数量会随其爆炸式递增，如果不优化Cube,不仅Build Cube时间会很漫长，而且Cube的膨胀率也会让你害怕，从而占用大量的磁盘空...

今天，在启动kylin时，报Failed to find metadata storeby url: kylin_metadata@hbase，确认这肯定是hbase的错误导致kylin无法正常启动，于是进入hbase shell，输入list命令测试，果然出现hbase.PleaseHoldException: Master is initializing，从字面可以知道，主节点正在初始化，请...

《一份详细的Kylin执行样例——基于kylin2.5.0》一文中，小厨介绍了如何使用kylin，今天开辟一个新路线，个人感觉随着时代的发展，数据实时分析会成为主力军，因为今天介绍一下Kafka+kylin，流式构建cube。kylin是从1.5版本开始，引入Streaming Table，目的是减少OLAP分析的延时，到目前的2.5.0版本 Streaming做的已经相当较成熟了。主要方法：...

在《Kylin2.5.0安装部署及样例sample.sh》一文中，我们搭建了kylin2.5.0版本的运行环境，并且简单演示了一下官方的Sample Cube的示例，这样从宏观上对kylin的运行流程有了一个整体的认识。那么，这篇文章我们将继续从创建一个完整的cube到执行sql语句，对其中的每一步都做一个详细的描述。本文的业务背景来自于蒋守壮老师的《基于Apache Kylin构建大数据分析平台...

异常Kylin在启动之后报一下错误：java.net.UnknownHostException: 192.168.83.131:2181: invalid IPv6 address，具体如下图所示这是由于端口号2181在zk connectString里写了两遍，从而造成了master:2181:2181的情况。cd /usr/hbase/conf    vi hbase-site...

由于Kylin本身只是一个Server，所以安装部署还是比较简单的。但是不得不说Kylin对各个协作系统的版本要求还是比较高的。最新官网kylin v2.5版本的要求各个软件版本为OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+（本文用的是：CentOS 7） Hadoop: 2.7+, 3.1+（本文：2.8.5） Hive: 0.13 - 1....

【kylin详细部署使用文档】  之前部署了一套kylin2.1.0版本，在进入web界面之后，出现了无法创建cube等一系列错误，于是根据版本要求，小厨将kylin的安装版本设置成了1.5.2，在三台虚机上重新部署一套单节点的kylin服务。在这里就省去上传jar包之类的操作，直接从需要更改配置文件开始。一、配置环境变量添加以下内容：将kylin所依赖的环境都配置上，切记HCAT_HOM...

异常信息描述：kylin的cube在build时，#2 Step Name: Extract Fact Table Distinct Columns出现java.sql.SQLException的错误。如下所示：java.sql.SQLException: No suitable driver found for jdbc:mysql://localhost:3306/hive？creat...

在安装完毕之后，登录WebUI即master:7070/kylin。界面报拒绝连接，于是去查日志，因为此时kylin还没有真正运行起来，所以/kylin/logs目录下根本没有有用的目录，如下图：想起来kylin是依靠Tomcat运行的，于是在Tomcat的logs文件夹下找到日志，发现是下面这个错：java.io.FileNotFoundException:/usr/hadoop/h...

问题描述：由于业务场景的需要数据，所以我的数据是从2017-01-01 00:00:00开始的，数据源是kafka。从下图可以看出，我的Cube分为三次去build，第一次是0-40595条，第二次是40595-55706条，第三次55706-62307，也就意味着我Cube中含有的records应该为62307条。之后奇怪事情发生了，因为我之前定义了auto merge ,所以在我build第三...