解决kylin报错：spark not found, set SPARK_HOME, or run bin/download-spark.sh

最新推荐文章于 2023-10-19 19:41:30 发布

奔跑小韭菜

最新推荐文章于 2023-10-19 19:41:30 发布

阅读量1.4k

点赞数

文章标签： spark kylin

本文链接：https://blog.youkuaiyun.com/weixin_47303949/article/details/108102215

版权

解决办法：
在/etc/profile中加入spark 的环境变量

vi /etc/profile

添加这两行：
export SPARK_HOME=/usr/local/spark-2.4.5-bin-hadoop2.7
PATH=$PATH:${SPARK_HOME}/bin

然后source /etc/profile 使其生效

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

奔跑小韭菜

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

quickSQL调试过程中报SPARK_HOME找不到解决方法

虎啸千峰的博客

11-03

715

一、概述最近在调研统一Sql解析方法，发现开源的quickSQL可以满足这一要求，就是该社区太不活跃了，文档也不全，现在将quickSQL编译中遇到的坑分享一下二、Spark的home路径找不到问题解决方法 1、在window环境中配置SPARK_HOME路径 2、在window环境中配置HADOOP_HOME路径 3、将SPARK_HOME和HADOOP_HOME的路径配置到path环境变量中 4、在IDEA环境中配置SPARK_HOME路径 ...

【Kylin4】【AWS】【EMR-5.33.0】 Aws云上部署Kylin4

mukvintt的博客

09-07

939

目录 Description Steps Prerequisite for EMR Cluster Create VPC Create Subnet and associated with VPC Which Created upon Create Internet Gateway Create Route Table Create Security Group Create Rds (Optional) Init Emr 5.33 CLI UI Install kyl...

2 条评论您还未登录，请先登录后发表或查看评论

Spark 启动时，提示 JAVA_HOME not set

hguanWPH的博客

04-26

248

【代码】Spark 启动时，提示 JAVA_HOME not set。

【问题解决】启动spark2.4时,从节点提示JAVA_HOME not set

zhangxiaohui4445的博客

03-18

815

背景：master 为主节点，slave为从节点，但是在启动后主节点正常启动，从节点提示如下异常信息：排查后发现,在sbin目录下的spark-config.sh文件下未添加JAVA_HOME的环境变量配置后再重新启动后即可。. 配置文件如下：在该文件下添加jdk的路径,再分发到各个节点上就可以了再次启动后：主节点显示master进程。丛节点显示w...

运行spark报JAVA_HOME is not set

qq_44779906的博客

10-19

659

2、找不到java环境，可能是配置了多个python 环境导致，【经检查/etc/profile有配置JAVA_HOME，可能因为优先级没访问到】，在~/.bashrc里面配置就ok了，【我初始化anaconda 是配置在bashrc的，使用的是anaconda的python解释器】1、运行spark程序时，部分python代码需要py4j转换为java代码，而远端设备找不到java环境。2、需要在代码中添加以下内容,用于锁定远程版本 (放置在mian函数的上面)

Spark 启动时，报JAVA_HOME is not set

lydms的博客

08-25

2295

配置Java的环境变量。

Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建

tiki的博客

09-14

1797

虚拟机+Zookeeper+Hadoop+Hbase+hive+kylin+nginx集群搭建，本文详细的从自身搭建时遇到的问题出发讲述了虚拟机安装、jdk安装、zookeeper、Hadoop、hbase、hive、kylin、nginx安装与配置、集群设置等方面的内容，作为学习路上的参考

2021-02-26~27~28 大数据课程笔记 day37day38day39

qq_44745905的博客

02-28

3747

@R星校长音乐数据中心平台 1.1 数据库与ER建模 1.1.1 数据库（DataBase）数据库是按照数据结构来组织、存储和管理数据的仓库，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可视为电子化的文件柜，存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作，数据组织主要是面向事务处理任务。 1.1.2 数据库三范式关系型数据库设计时，遵照一定的.

项目0单节点的虚拟机做大数据开发（四万字全）

默主归沙的博客

03-21

3094

说明：这个项目是面向大数据开发的，要涉及到多个软件的安装。以后还会更新整个项目的流程包括代码。 1.1新建虚拟机上面这个镜像文件链接：https://pan.baidu.com/s/1bdrE2pFtVXQt07oOrqw-KA 提取码：0fht --来自百度网盘超级会员V2的分享上图只需要点击安装位置和网络和主机名就可以开始安装网络和主机名：打开，然后点击完成点击开始安装 Root的密码 ..

flink流处理

weixin_43705952的博客

12-07

2235

<?xml version="1.0" encoding="UTF-8"?> -<project xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://maven.apache.org/POM/4.0.0"&gt

启动spark时,提示JAVA_HOME not set,解决

热门推荐

a904364908的博客

07-30

1万+

刚部署好的spark,启动时报异常,JAVA_HOME is not set. 排查后发现,在sbin目录下的spark-config.sh文件下未添加JAVA_HOME的索引. 在该文件下添加jdk的路径,再分发到各个节点上就可以了 ...

CDH 6.2.0安装kylin报错

mtj66的博客，交流WX:SpringBreeze1104

05-06

2115

spark not found, set SPARK_HOME, or run bin/download-spark.sh find / -name spark* | grep spark 然后跟据上面的结果配置合理的SPARK_HOME export SPARK_HOME=/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/...

kylin——安装（hcatalog lib not found）

archer的技术故事

04-12

2552

kylin——安装（hcatalog lib not found）这里先不介绍kylin是什么，本篇文章主要讲述在安装kylin的过程中遇到的一些坑。最重要的就是题目中包含的这个错误。hcatalog lib not found。首先说一下我的环境，我的环境是CDH5.10。正常解压安装后遇到问题：这个错误说的是没有配置HCAT_HOME。那么HCAT_HOME

spark-shell 启动出现 error not found 报错问题

weixin_42489619的博客

07-23

2557

首先前提是：在虚拟机上Linux运行的spark 1.先检查你的 ifconfig 命令看里面的IP是否和 /etc/hosts ip一样；（一般是没错的） 2.主要看看你spark中 conf里面的配置有没有错：查看 conf中 spark-env.sh.....里面的 export SPARK_MASTER_HOST=hdp00 hdp00 ip是否和 /etc/hosts...

关于配置使用sparklyr和Pyspark的相关记录

Lianyudedouzi的博客

11-24

643

关于使用Pyspark的相关记录

python—spark本地安装及环境变量配置

Sun_shine99的博客

04-20

4241

Spark和Hadoop的关系是，Hadoop的MapReduce是大家广为熟知的计算框架，而Spark则是一种新的计算框架。比如，textFile("/usr/local"), textFile("/usr/local/.txt"), textFile("/usr/local/.gz")1.如果使用了本地文件系统的路径，那么，必须要保证在所有的worker节点上，也都能够采用相同的路径访问到该文件，比如，可以把该文件拷贝到每个worker节点上，或者也可以使用网络挂载共享文件系统。（注意最前面的圆点）

Kylin架构原理及构建过程

weixin_42476127的博客

12-06

499

所有维度组合的Cuboid作为一个整体，称为Cube。 Kylin架构从hive中获取元数据信息，通过cube构建引擎将一个个key、value数据存入hbase中。 1）REST Server REST Server是一套面向应用程序开发的入口点，旨在实现针对Kylin平台的应用开发工作。此类应用程序可以提供查询、获取结果、触发cube构建任务、获取元数据以及获取用户权限等等。另外可以通过Restful接口实现SQL查询。 2）查询引擎（Query Engine）当cube准备就绪后，查询引擎就能

CDH集群中安装kylin：code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

eyeofeagle的博客

04-03

1341

下载cdh版的kylin tar包： http://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.6.1/apache-kylin-2.6.1-bin-cdh60.tar.gz 注：此版本kylin依赖jdk8 1, 配置环境变量 export JAVA_HOME=/usr/java/jdk1.8 export KYLIN_H...

/home/kylin/bin/TSN_Analyse_2024_Run/./libm.so.6: version `GLIBC_2.29' not found (required by /lib/x86_64-linux-gnu/libsqlite3.so.0)