Kylin 3.1.0新版本安装教程

Kylin 3.1.0新版本安装教程

1. 背景

1. 在大数据开发中，数据处理一般分为离线和实时数据处理。而在离线数据处理中，数据需求从指标维度来看，又可以进一步划分：

• 固定维度
• 灵活多维度（维度最大数量固定，但维度之间会有组合）
• 唯独不确定

2. 针对上述灵活多维度（维度最大数量固定，但维度之间会有组合），传统上可以使用hive，spark sqll等计算引擎做数据分析处理。

如hive有with cube，grouping sets，roll up来做多维度计算处理。但数据计算处理之后为了保证数据查询快速，还需要导入到hbase，mysql等快速访问数据库中，比较麻烦。
这时候就可以引入kylin，kylin可以直接从hive表中读取数据，并根据需求做自定义多维数据分析（数据分析引擎可以使用mapreduce，spark，flink，默认是mapreduce）。计算后结果会存入hbase，并且会对hbase的rowkey做优化。

2. 安装

1. 确保有如下软件以及环境变量
   vi /etc/profile

export JAVA_HOME=/opt/apps/jdk1.8.0_191/
export HADOOP_HOME=/opt/apps/hadoop-3.1.1
export HIVE_HOME=/opt/apps/apache-hive-3.1.2-bin
export HBASE_HOME=/opt/apps/hbase-2.0.6
export KYLIN_HOME=/opt/apps/kylin-3.1.0/
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin

注意，因为技术体系采用apache开源套餐，上述软件版本是实际验证兼容可用于企业开发的版本，并且比CDH推荐的相对新一些。

2. hbase-site.xml，将zookeeper地址中端口号去掉

<property>
<name>hbase.zookeeper.quorum</name>
<value>doit01,doit02,doit03</value>
</property>

这是因为kylin会自己给主机名后面加上2181默认端口号，如果这里加了，主机名就变成如doit02:2181了，这时候就会报找不到主机名。
另外，不用担心不写2181会找不到端口号，因为zookeeper的默认端口号就是2181

3. 检查kylin运行环境
   kylin解压缩安装包的bin目录下

/bin/check-env.sh

实际，每次启动kylin，都会调用这个脚本做检查，赞！！！
注意，这是一个中国人贡献者占主导的顶级apache开源项目，👍

4. 启动

注意，保证hdfs，zookeeper，habase，yarn都正常启动。
yarn启动是因为kylin默认的计算引擎是就是mapreduce，任务执行时需要有yarn

 bin/kylin.sh start

http://:7070/kylin 通过这个网页就可以访问
初始用户名和密码是 ADMIN/KYLIN

3. 官方文档

1. http://kylin.apache.org/cn/docs/install/index.html
2. 
3. 注意，kylin可以单机，也可以集群模式部署。