Linkis安装

最新推荐文章于 2024-04-11 05:13:47 发布

原创最新推荐文章于 2024-04-11 05:13:47 发布 · 1.1k 阅读

2 ·

CC 4.0 BY-SA版权

运维专栏收录该内容

43 篇文章

订阅专栏

首先安装linkis必须安装

MySQL (5.5+)，如何安装MySQL

JDK (1.8.0_141以上)，如何安装JDK

Python(2.x和3.x都支持)，如何安装Python

Hadoop(社区版和CDH3.0以下版本都支持)

Hive(1.2.1，2.0和2.0以上版本，可能存在兼容性问题)

Spark(Linkis release0.7.0开始，支持Spark2.0以上所有版本)

这里创建部署用户(在hadoop用户中)

sudo useradd Hadoop		如果有hadoop不需要创建
设置sudo权限
cp /etc/sudoers /etc/sudoers.bak
chattr -i /etc/sudoers

Hadoop用户执行作业需要免密

vi /etc/sudoers
hadoop  ALL=(ALL)       NOPASSWD:ALL

需配置hadoop用户与localhost用户免密登录
创建ssh-key并将公钥复制至authorized_keys中

配置环境变量

vim /home/Hadoop/.bashrc
export JAVA_HOME=”/opt/java/jdk1.8.0_171”
export PATH=”$JAVA_HOME/bin:$PATH”
export CLASSPATH=”.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar”
export HADOOP_HOME=”/opt/cloudera/parcels/CDH/lib/hadoop”
export HADOOP_CONF_DIR=” /opt/cloudera/parcels/CDH/lib/Hadoop/etc/hadoop”
export SPARK_HOME=” /opt/cloudera/parcels/CDH/lib/spark”

安装linkis安装包

tar -xvf wedatasphere-linkis-0.9.0-dist-spark2.1 (1).tar
cp conf/config.sh conf/config.sh.bak
vim conf/config.sh
    deployUser=hadoop      #指定部署用户
    LINKIS_INSTALL_HOME=/appcom/Install/Linkis    # 指定安装目录
    WORKSPACE_USER_ROOT_PATH=file:///tmp/hadoop    # 指定用户根目录，一般用于存储用户的脚本文件和日志文件等，是用户的工作空间。
RESULT_SET_ROOT_PATH=hdfs://NNCluster/user/linkis/tmp   # 结果集文件路径，用于存储Job的结果集文件
HDFS_USER_ROOT_PATH=hdfs://NNCluster/user/linkis
vim conf/db.sh
MYSQL_HOST=10.75.201.130
MYSQL_PORT=3306
MYSQL_DB=linkis
MYSQL_USER=root
MYSQL_PASSWORD=***

拷贝hdfs.keytab文件至本地目录下
安装执行

sudo sh bin/install.sh

启动服务

./bin/start-all.sh > start.log 2>start_error.log

安装参考https://github.com/WeBankFinTech/Linkis/wiki/如何快速安装使用Linkis