cloudera中启动spark-shell，进行ALS推荐算法的使用时，用到的jblas的导入方法

最新推荐文章于 2021-05-31 17:14:47 发布

置顶 ChrisYANG23521

最新推荐文章于 2021-05-31 17:14:47 发布

阅读量638

点赞数 1

CC 4.0 BY-SA版权

分类专栏：大数据 spark 文章标签： spark ALS cloudera中jblas导包

本文链接：https://blog.youkuaiyun.com/qq_15508167/article/details/80825223

大数据同时被 2 个专栏收录

12 篇文章

订阅专栏

spark

2 篇文章

订阅专栏

本文介绍如何解决在Cloudera环境下的Spark中使用ALS推荐算法时遇到的jblas包缺失问题。通过将jblas包放置到指定路径并在spark-env.sh文件中设置正确的类路径，最终成功实现包的导入。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我们在使用spark的ALS的推荐算法时，需要用到jblas包，这时如果我们直接利用：

 import org.jblas.DoubleMatrix

会提示我们jblas包不存在的问题。一般我们直接将下载的jblas包，放在spark的lib目录下，启动完成。

但是，cloudera中启动spark-shell，导入jblas包的时候，提示不存在，直接放在lib目录下，导入还是提示不存在。这时我们找到spark在cloudera中的安装位置：/usr/lib/spark,进入lib目录，将下载的jblas包导入，下载地址：http://www.java2s.com/Code/JarDownload/jblas/jblas-1.2.3.jar.zip

然后，在spark-env.sh文件中，将jblas的路径进行关联：

SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:$SPARK_LIBRARY_PATH/usr/lib/spark/lib/sparkjblas-1.2.3-SNAPSHOT.jar"

重新启动spark-shell命令，再次：

import org.jblas.DoubleMatrix

完成。

总结：我们自己安装的spark中，我们将jblas放在spark的lib目录下，但是在cloudera中，我们找到spark的安装目录，直接放入后，发现导入时，还是提示包不存在，这是需要我们在spark-env.sh的文件中加上一个关联就可以了。