spark sbt 无法 import ml 包问题

最新推荐文章于 2024-01-02 22:15:18 发布

qq_41344892

最新推荐文章于 2024-01-02 22:15:18 发布

阅读量982

点赞数

CC 4.0 BY-SA版权

文章标签： sparkmlib sbt idea

本文链接：https://blog.youkuaiyun.com/qq_41344892/article/details/103233691

本文解决了在使用Spark MLlib时遇到的导入问题，详细介绍了如何正确配置sbt依赖，去除%runtime标签，确保MLlib包正常导入并使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SPARK sbt import ml 包问题

今天导入ml包，sbt下载到本地之后，import一直爆红，运行时也报错：object ml is not a member of package org.apache.spark，后面对比ml依赖跟正常依赖，发现后面多了 % “runtime”，之前直接使用的是maven官网的：

	// https://mvnrepository.com/artifact/org.apache.spark/spark-mllib
	libraryDependencies += "org.apache.spark" %% "spark-mllib" % "2.2.0" % "runtime"

删除掉 % “runtime”, 即可正常import mlib包，使用依赖如下：

		libraryDependencies += "org.apache.spark" %% "spark-mllib" % "2.2.0"

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

qq_41344892

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

scala-sparkML学习笔记：xgboost进行分布式训练

MachineLP的专栏

08-29

3982

java／scala生成jar一般采用有两种sbt和maven，本人介绍通过maven生成jar的方式，同时可以查看git：https://github.com/MachineLP/Spark-/tree/master/scala-xgboost。 xgboostSparkMLlibPipeline.scala代码如下：（注意运行时要按照特征目录格式组织：src/main/scala/ml/d...

weixin_39752215的博客

12-20

773

利用Spark MLlib实现协同过滤(ALS)算法实例(Python)发布时间：2018-04-07 16:24,浏览次数：1137, 标签：SparkMLlibALSPython协作过滤协同过滤通常用于推荐系统。这些技术旨在填补用户项目关联矩阵的缺失条目。spark.ml目前支持基于模型的协作过滤，其中用户和产品由一组可用于预测缺失条目的潜在因素来描述。 spark.ml使用交替最小二乘(AL...

参与评论您还未登录，请先登录后发表或查看评论

import org.apache.spark.mllib.recommendation.{ALS, Rating} 包导入不进来

qq_41569668的博客

03-11

1522

出现这个问题就去找自己的POM文件有没有加入 org.apache.spark spark-mllib_2.11 2.1.1 这个依赖，一定注意要加上版本，我就是因为没有加入version 结果导入失败 ...

关于使用ubuntu的spark1.6.2shell导入import SqlSession不成功的问题

weixin_43871900的博客

06-30

219

不是觉得我懂很多，而是这个问题，我一开始也怀疑，接着根本在百度和优快云搜不到答案，虽然确实比较基础，但是我也想发出来让大家可以搜索得到，主要是spark的版本问题在2.x以下版本的spark是无法引入SqlSession该变量的，所以应该升级，我看了一下我的是1.6.2的spark，一般来说把/usr/local/spark下的文件全部删除，就算卸载成功了 https://spark.apache.org/downloads.html 然后再在以上网址下载对应版本号spark2.x+hadoo..

Centos 7 SBT install - Spark-1.4.1+MLlib的安装和搭建

liliang199的专栏

07-27

3892

用户需要搭建一个基于Spark+mllib的视频处理平台，本文使用虚拟机，先使用虚拟机验证平台搭建的可行性。

【spark系列2】spark中运行scala程序（build.sbt中的版本号问题）

SNS程飞的专栏

04-14

2288

参考资料： 1. http://www.cnblogs.com/vincent-hv/p/3298416.html

ubuntu中Spark MLLib的安装与使用

jiuweideqixu的博客

08-21

1561

软硬件环境名称版本系统 Ubuntu 18.04.4 LTS 内存 7.5GiB 处理器 Intel Core i7-8565U CPU @ 1.80GHz *8 图形 Intel UHD Graphics（Whiskey Lake 3*8 GT2） GNOME 3.28.2 操作系统类型 64位磁盘 251.0 GB Hadoop 2.10.0 Spark 2.3.4 scala 2.11.8 IntelliJ IDEA U...

一个简单的Spark ML的例子

weixin_41512727的博客

05-05

4531

文章目录1-配置2-流程3-注意4-project 1-配置首先，我在虚拟上，搭建了一个单机spark2.4.1(无hadoop)。然后在本地的IDEA中远程运行spark，操作一个svm的小例子。 sbt文件： name := "spark_ml_examples" version := "0.1" scalaVersion := "2.11.12" libraryDependencies +...

Spark-Mlib &Spark GraphX

hello,world.

05-29

229

RandomForest(sbt打包) Find full example code at “examples/src/main/scala/org/apache/spark/examples/ml/RandomForestClassifierExample.scala” in the Spark repo. 进入spark目录 mycode中，自定义randomforest文件夹 mkdir -p randomforest/src/main/scala cd randomforest/src/m

spark环境搭建java_Spark MLlib 环境搭建超详细教程

weixin_31181381的博客

02-16

654

1、系统及环境版本系统：Win7 旗舰版 64位 sp1JDK：1.8.0Spark：2.3.2Hadoop：2.7Scala：2.11.8文章最后，有所有版本的下载链接，不用再去折腾版本之间的问题。2、环境下载2.1 Spark 下载spark2.2 hadooponwindos 下载image.png2.3 Hadoop 下载image.png2.4 JDK下载略2.5 IntelliJ ID...

object streaming is not a member of package org.apache.spark_解决方式_路漫漫远俢兮

路漫漫远修兮

06-08

1826

报错如下：遇到这个错误当时就蒙了，导包也能出错原因：在.sbt配置文件中少了% "provided"部分，完整如下： libraryDependencies += "org.apache.spark" % "spark-streaming_2.12" % "2.4.5" % "provided" 使用maven打包的参考官方连接： http://spark.apache.org/docs/latest/streaming-programming-guide.html#a-quick-examp

Spark导入报错：object security is not a member of package org.apache.kafka.common

罟霖同学的站点

01-02

794

排查后发现是因为添加的jar依赖里没有kafka这一项，去下载了对应版本的Kafka jar包后放置在底下却仍然报错。。

Spark Shell -- <console>:29: error: object y is not a member of package x

xwq的博客

07-09

871

在spark shell中导入一个包出错： import x.y 但是报错： <console>:29: error: object y is not a member of package x 解决方法：打开spark shell时将x.y包加入 bin/spark-shell --packages x.y 也看到有人说加上 root 有效： import _root_....

spark ml报错：object ml is not a member of package org.apache.spark

小蚯蚓的博客

05-15

5243

一、问题描述使用sparkml库的linalg类库等，尽管引入spark mllib依赖，但是发现无法导入相应库，运行后报错： Error:(2, 25) object ml is not a member of package org.apache.spark import org.apache.spark.ml.classification.LogisticRegression Err...

spark学习之maven导入依赖的一些问题

scfvlog的博客

10-29

3370

maven版本过高会无法导入部分scala的依赖，但也不必担心我们换一个版本即可，我这里用的maven仓库版本是3.8.6差不多是最新版的了（现在最新版本的是4.0了），刚开始导入依赖会出现很多问题，maven提示下载好了，但是依赖并没有导入进来导致jar还是不可用，所以这时候我们应该改变version才可以。解决方法：我们换一种方式去导入，把版本也换了，这个时候我们发现maven无法下载了。问题真的多，我去上网查了之后人家让加一个阿里云的依赖就好了，然后我加了最后就好了，下面是完成体。

搭建sparkmllib开发环境的一些坑-----

dongdouzin的博客

04-02

5587

sparkmlib是spark用于机器学习开发的包，实现了在分布式的大数据集群上做机器学习的功能，是目前对分布式支持较好的机器学习框架，除此之外支持分布式的机器学习框架还有tensorflow和deeplearning4j,但sparkmllib天生和hadoop无缝结合，不过sparkmllib的短板是无法支持深度学习，而tensorflow和deeplearning是支持深度学习的。好了废话不...

1 Spark机器学习 spark MLlib 入门