Apache Kylin安装指南+入门案例(附图)

Apache Kylin安装文档

• Kylin安装
• Kylin使用案例

---

1. Kylin安装

• 使用FTP工具上传apache-kylin-2.5.1-bin-hbase1x.tar.gz压缩包到node01的opt/software目录下

• 解压上一步上传的压缩包opt/module下tar -zxvf apache-kylin-2.5.1-bin-hbase1x.tar.gz -C /opt/module

• 进入opt/module目录，更改apache-kylin-2.5.1-bin-hbase1x目录名字mv pache-kylin-2.5.1-bin-hbase1x kylin-2.5.1

• 此时opt/module目录结构如下
  

• 进入到kylin-2.5.1目录，查看kylin的目录结构
  

• 进入conf目录，将 kylin.properties.template改成kylin.properties,命令：mv kylin.properties.template kylin.properties

• 编辑kylin.properties文件,添加以下内容

   # 下面的node01是你的主机名，我将kylin装在了第一个节点上，需要根据你的主机名更改
   kylin.server.cluster-servers=node01:7070
   kylin.server.mode=all
  

• 在/etc/profile下添加java hadoop hive hbase kylin spark的环境变量，下面参考我的设置

   # JAVA_HOME
   export JAVA_HOME=/opt/module/jdk1.8.0_144
   export PATH=:$JAVA_HOME/bin:$PATH
   
   # HADOOP_HOME
   export HADOOP_HOME=/opt/module/hadoop-2.7.2
   export PATH=$PATH:$HADOOP_HOME/bin
   
   # SPARK_HOME
   export SPARK_HOME=/opt/module/spark-2.1.1
   export PATH=$PATH:$SPARK_HOME/bin
   
   # HIVE_HOME
   export HIVE_HOME=/opt/module/hive-1.2.1
   export PATH=$PATH:$HIVE_HOME/bin
   
   # HBASE_HOME
   export HBASE_HOME=/opt/module/hbase-1.3.1
   export PATH=$PATH:$HBASE_HOME/bin
   
   # KYLIN_HOME
   export KYLIN_HOME=/opt/module/kylin-2.5.1
   export PATH=$PATH:$KYLIN_HOME/bin
  

• 使用分发命令分发/etc/profile文件，命令是xsync /etc/profile

   # 附xsync脚本
   # 注意的两个地方看下图 一个是更改 for循环中的条件，一个是更改用到主机名的地方
   # 使用文件分发脚本步骤如下
    1. cd /usr/local/bin
    2. vim xsync
    3. 输入下面的shell脚本内容
    4. chmod 777 xsync
    5. 在任意一个位置创建一个文件，然后测试xsync脚本
    
   
   #!/bin/bash
   #1 获取输入参数个数，如果没有参数，直接退出
   pcount=$#
   if((pcount==0)); then
   echo no args;
   exit;
   fi
   
   #2 获取文件名称
   p1=$1
   fname=`basename $p1`
   echo fname=$fname
   
   #3 获取上级目录到绝对路径
   pdir=`cd -P $(dirname $p1); pwd`
   echo pdir=$pdir
   
   #4 获取当前用户名称
   user=`whoami`
   
   #5 循环
   for((host=1; host<4; host++)); do
           echo ------------ node0$host ----------------
                   # rsync是远程同步工具 -r递归 -v显示复制过程 -l拷贝软连接
           rsync -rvl $pdir/$fname $user@node0$host:$pdir
   done
  

  

• 由于上面在/etc/profile文件中新增了内容，需要键入source /etc/profile让刚刚做的修改立即生效

• 正式分发/etc/profile文件，键入命令xsync /etc/profile

• 到第二个和第三个节点上查看/etc/profile文件中的内容是否和第一个节点中的文件内容一致

• 在第二个节点和第三个节点上键入命令source /etc/profile

• 进入kylin的安装目录 cd /opt/module/kylin-2.5.1/
  

• 键入以下命令以分别检查环境

   # 检查环境
   bin/check-env.sh
   # 检查hive依赖
   bin/find-hive-dependency.sh
   # 检查hbase依赖
   bin/find-hbase-dependency.sh
  

• 启动/停止Kylin

   # 启动Kylin
   bin/kylin.sh start
   # 停止Kylin
   bin/kylin.sh stop
  

• Warnings这里目前收集了一次错误，之前都解决了，如果有需要请在帖子下方留言您的error

  错误：ERROR: Check hive's usability failed, please check the status of your cluster

  解决 在kylin的安装目录下进入bin目录然后找到check-hive-usability.sh,之后键入命令vim check-hive-usability.sh编辑该文件，修改timeLeft的值为100(默认值为60)，见下图
  

• 进入web界面

  如果成功启动，在terminal中键入jps命令会出现RunJar的进程，terminal末尾的显示的信息如下图
  

   # 进入浏览器，在地址栏中输入
   node01:7070/kylin/login
   # 账号和密码信息
   账号：ADMIN
   密码：KYLIN
  

• Web界面如下
  

---

2.Kylin使用案例

• 数据准备

  • 百度网盘链接下载: https://pan.baidu.com/s/18vuT3wbANskP7J3nhlf4GQ 密码: 10jw

  • 下载emp.txt和dept.txt

• 进入到Hive的操作界面

  • 创建数据库表

    # 创建部门表
    create external table if not exists default.dept(
    deptno int,
    dname string,
    loc int
    )
    row format delimited fields terminated by '\t';
    
    # 创建员工表
    create external table if not exists default.emp(
    empno int,
    ename string,
    job string,
    mgr int,
    hiredate string, 
    sal double, 
    comm double,
    deptno int)
    row format delimited fields terminated by '\t';
    

  • 查看创建的表

    show tables;

  • 向表中导入数据

    # 将从网盘中下载好的数据文件导入到节点的`/opt/module/datas`目录下（datas目录是自己手动创建的）
    # 这里Hive中就使用默认的数据库default数据库
    
    # 向部门表dept中导入数据
    load data local inpath '/opt/module/datas/dept.txt' into table default.dept;
    
    # 向员工表emp中导入数据
    load data local inpath '/opt/module/datas/emp.txt' into table default.emp;
    

  • 查看两张表中的数据

    select * from emp;

    select * from dept;

• 在Kylin的Web界面创建项目

  • 登录系统

    • 用户名:ADMIN 密码:KYLIN

  • 创建工程

    • 点击左上角的 + 号，输入Project Name和Project Description;最后点击页面卡右下方的Sumbit来提交
      

    

  • 选择数据源
    
    

  • 查看数据源
    

  • 创建Model

    • 回到Models页面
      

    • 填充Model名称和描述信息，然后继续Next

      

    • 选择事实表

      

    • 选择添加的维度表及JOIN的字段

      

    • 选择添加的维度表和JOIN的字段

      

    • 选择维度信息

      

    • 选择度量信息

      

    • 添加分区信息及where过滤条件，点击Save

      

    • ModelOne创建完成

      

  • 创建Cube

    • 选择Model -> New Cube，选择我们刚刚创建的ModelOne并填写Cube Name

      

    • 添加维度

      

      

    • 添加预计算内容
      

• 创建好的Cube信息展
  
  • 到此为止，我们的CubeOne配置完成

• 触发Cube预计算

  • 点击Action ->Build

    

  • 查看构建进度

    

  • Cube构建完成

    

• 对比Kylin和Hive

  • Hive查询

    # 需求：根据部门名称统计员工薪水总数
    # 进入到Hive的Shell端口 bin/hive
    # 键入下面的语句
    
    select dname,sum(sal) from emp e join dept d on e.deptno = d.deptno group by dname;
    

    查询时间

    

  • Kylin查询

    进入Insight页面，输入SQL语句，点击Sumbit来提交