kylin01_kylin安装部署(单机)

本文详细介绍了如何在HDP环境中安装和配置Apache Kylin,包括创建用户、下载与解压、环境变量设置、权限问题排查及启动与停止步骤。重点讲解了常见错误及解决方案,如Hive权限问题和缺失的Guava库。

注: kylin系列官网有详细文档,建议参考官网文档。 http://kylin.apache.org/cn/docs/index.html

  1. 创建kylin用户
useradd kylin

1.下载对应HDP版本的kylin二进制文件

#https://kylin.apache.org/download/
wget https://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-3.1.1/apache-kylin-3.1.1-bin-hadoop3.tar.gz

2.解压tar包,配置环境变量 $KYLIN_HOME 指向 Kylin 文件夹

# 解压
tar -zxvf apache-kylin-3.1.1-bin-hadoop3.tar.gz -C /data/module/

# 修改配置文件
vi /etc/profile

# 文件中加入
export KYLIN_HOME=/data/module/apache-kylin-3.1.1-bin-hadoop3

# 使配置生效
source /etc/profile

3.配置其他需要的环境变量

# 环境变量操作同上一步
export SPARK_HOME=/usr/hdp/3.1.4.0-315/spark2

export KAFKA_HOME=/usr/hdp/3.1.4.0-315/kafka

4.检查运行环境


$KYLIN_HOME/bin/check-env.sh

# 可能出现的错误
#错误1. mkdir: Permission denied: user=root, access=WRITE, inode="/":hdfs:hdfs:drwxr-xr-x
#Failed to create /kylin. Please make sure the user has right to access /kylin

#显示root没有hdfs创建文件夹权限,切换为hdfs用户后重新运行

#错误2:/opt/module/kylin3.0/bin/find-hadoop-conf-dir.sh: line 80: /opt/module/kylin3.0/bin/cached-hadoop-conf-dir.sh: Permission denied

#显示cached-hadoop-conf-dir.sh脚本权限不足,赋予权限777后重试

5.启动kylin

$KYLIN_HOME/bin/kylin.sh start

#停止
$KYLIN_HOME/bin/kylin.sh stop

6.其他问题

# 1. Something wrong with Hive CLI or Beeline, please execute Hive CLI or Beeline CLI in terminal to find the root cause.

hive连接问题,查看hive日志 针对性解决
查看hive日志,发现错误
Cannot modify dfs.replication at runtime. It is not in list of params that are allowed to be modified at runtime

修改hive配置

<property>
    <name>hive.security.authorization.sqlstd.confwhitelist.append</name>
    <value>mapred.*|hive.*|mapreduce.*|spark.*|dfs.*</value>
</property>
<property>
    <name>hive.security.authorization.sqlstd.confwhitelist</name>
    <value>mapred.*|hive.*|mapreduce.*|spark.*|dfs.*</value>
</property>


#2. 可能出现
Using metadata url kylin_metadata@hbase for resource store
Caused by: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

将guava-28.0-jre.jar, 放到$KYLIN_HOME/tool/ 和 $KYLIN_HOME/tomcat/lib/目录下,然后重启kylin bin/kylin.sh restart。

jar在一般在hadoop/lib下有,也可网络下载
https://repo1.maven.org/maven2/com/google/guava/guava/28.0-jre/guava-28.0-jre.jar

# 3. Error: Could not find or load main class org.apache.hadoop.hbase.util.GetJavaProperty
hbase-common lib not found
环境变量问题,找不到hbase-common的lib
在环境变量中加入HBASE_CLASSPATH
vi /etc/profile
# 根据自己hbase路径添加环境变量
export HBASE_CLASSPATH=/usr/hdp/3.1.5.0-152/hbase/lib/*

source /etc/profile

# 4. Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:java.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/kylin":hdfs:hdfs:drwxr-xr-x
权限问题,使用了root启动kylin
改为hdfs用户启动,或者修改文件夹权限
  1. 登录 默认账号:ADMIN 密码:KYLIN
    在这里插入图片描述
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值