Kylin3.10 Hadoop 3.0 + HBase 2.0环境使用搭建

Kylin3.10 Hadoop 3.0 + HBase 2.0环境使用搭建

一、 Kylin的优点与缺点

1.优点

1.上手快 kylin是一款国人开发的即席查询工具
2.容错强 kylin如果执行不了的sql会交给hive执行
3.效率高 kylin的查询速度是亚秒级单节点1秒可以查询70次
4.高可用 可部署集群模式
5.支持对接api接口查询以及jdbc/odbc可视化对接
6.支持多种数据源

2.缺点

1.因为kylin是预计算基于MOLAP的所以cube的时候会耗费时间及空间
2.嘿嘿 就是虽然kylin支持了hive容错性查询 但是好像不好用。。。。。
3.依赖性强

二、安装与搭建

1.下载kylin

到这个页面去下载自己的版本博主这里用的是3.10

http://kylin.apache.org/cn/download/

2.解压

[root@node2 servers]# tar -zxvf apache-kylin-3.1.0-bin-hadoop3.tar.gz 
[root@node2 servers]# mv apache-kylin-3.1.0-bin-hadoop3 apache-kylin-3.1.0-bin

3.配置相关环境变量

因为kylin是基于环境变量去查找相关的依赖工具的所以需要配置
博主只配置了jdk hive hbase hadoop kafka 其他不需要配置

# JAVA环境变量
export JAVA_HOME=/export/servers/jdk1.8.0_171/
export PATH=.:$JAVA_HOME/bin:$PATH
# Hadoop环境变量
export HADOOP_HOME=/export/servers/hadoop-3.0.0/
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

# kafka环境变量

# Maven环境变量
export MAVEN_HOME=/export/servers/apache-maven-3.6.3/
export PATH=:$MAVEN_HOME/bin:$PATH

# 脚本执行
export JIAOBEN_HOME=/export/servers/
export PATH=:$JIAOBEN_HOME/jb:$PATH

# KAFKA
export KAFKA_HOME=/export/servers/kafka_2.11-0.11.0.2/
export PATH=:$KAFKA_HOME/bin:$PATH
# HUE
export HUE_HOME=/export/servers/hue-release-4.7.1/hue
export PATH=${HUE_HOME}/build/env/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${NODE_HOME}/bin:${MAVEN_HOME}/bin:${JAVA_HOME}/bin:$PATH



# HIVE
export HIVE_HOME=/export/servers/apache-hive-3.1.2-bin/
export PATH=:$HIVE_HOME/bin:$PATH

# HBASE
export HBASE_HOME=/export/servers/hbase-2.3.0/
export PATH=:$HBASE_HOME/bin:$PATH

4.配置hadoop的mapred-site.xml

<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node2:10020</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node2:19888</value>
	</property>

5.启动相关工具

太懒了 启动不演示了

启动zk
启动hdfs
启动yarn
启动hbase
启动hive
启动JobHistoryServer

还有个坑hbase 配置zk的时候记得ip不要加端口号 额可能只有博主二了点

6.最后cd到kylin目录启动kylin

[root@node2 apache-kylin-3.1.0-bin]# bin/kylin.sh start

这样就是启动成功

7.访问web页面

http://node2:7070/kylin/login

进入页面就代表启动成功

各个即席查询工具的特点及使用场景 本蚂蚁会在后面发一篇比较及每个即席的优势
使用用户名登陆：ADMIN
使用密码登陆：KYLIN