spark sbt 无法 import ml 包问题

最新推荐文章于 2024-01-02 22:15:18 发布

原创最新推荐文章于 2024-01-02 22:15:18 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#sparkmlib #sbt #idea

本文解决了在使用Spark MLlib时遇到的导入问题，详细介绍了如何正确配置sbt依赖，去除%runtime标签，确保MLlib包正常导入并使用。

SPARK sbt import ml 包问题

今天导入ml包，sbt下载到本地之后，import一直爆红，运行时也报错：object ml is not a member of package org.apache.spark，后面对比ml依赖跟正常依赖，发现后面多了 % “runtime”，之前直接使用的是maven官网的：

	// https://mvnrepository.com/artifact/org.apache.spark/spark-mllib
	libraryDependencies += "org.apache.spark" %% "spark-mllib" % "2.2.0" % "runtime"

删除掉 % “runtime”, 即可正常import mlib包，使用依赖如下：

		libraryDependencies += "org.apache.spark" %% "spark-mllib" % "2.2.0"

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

qq_41344892

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

scala-sparkML学习笔记：xgboost进行分布式训练

MachineLP的专栏

08-29

4003

java／scala生成jar一般采用有两种sbt和maven，本人介绍通过maven生成jar的方式，同时可以查看git：https://github.com/MachineLP/Spark-/tree/master/scala-xgboost。 xgboostSparkMLlibPipeline.scala代码如下：（注意运行时要按照特征目录格式组织：src/main/scala/ml/d...

spark学习之maven导入依赖的一些问题

scfvlog的博客

10-29

3448

maven版本过高会无法导入部分scala的依赖，但也不必担心我们换一个版本即可，我这里用的maven仓库版本是3.8.6差不多是最新版的了（现在最新版本的是4.0了），刚开始导入依赖会出现很多问题，maven提示下载好了，但是依赖并没有导入进来导致jar还是不可用，所以这时候我们应该改变version才可以。解决方法：我们换一种方式去导入，把版本也换了，这个时候我们发现maven无法下载了。问题真的多，我去上网查了之后人家让加一个阿里云的依赖就好了，然后我加了最后就好了，下面是完成体。

参与评论您还未登录，请先登录后发表或查看评论

import org.apache.spark.mllib.recommendation.{ALS, Rating} 包导入不进来

qq_41569668的博客

03-11

1546

出现这个问题就去找自己的POM文件有没有加入 org.apache.spark spark-mllib_2.11 2.1.1 这个依赖，一定注意要加上版本，我就是因为没有加入version 结果导入失败 ...

关于使用ubuntu的spark1.6.2shell导入import SqlSession不成功的问题

weixin_43871900的博客

06-30

245

不是觉得我懂很多，而是这个问题，我一开始也怀疑，接着根本在百度和优快云搜不到答案，虽然确实比较基础，但是我也想发出来让大家可以搜索得到，主要是spark的版本问题在2.x以下版本的spark是无法引入SqlSession该变量的，所以应该升级，我看了一下我的是1.6.2的spark，一般来说把/usr/local/spark下的文件全部删除，就算卸载成功了 https://spark.apache.org/downloads.html 然后再在以上网址下载对应版本号spark2.x+hadoo..

Centos 7 SBT install - Spark-1.4.1+MLlib的安装和搭建

liliang199的专栏

07-27

3914

用户需要搭建一个基于Spark+mllib的视频处理平台，本文使用虚拟机，先使用虚拟机验证平台搭建的可行性。

【spark系列2】spark中运行scala程序（build.sbt中的版本号问题）

SNS程飞的专栏

04-14

2323

参考资料： 1. http://www.cnblogs.com/vincent-hv/p/3298416.html

ubuntu中Spark MLLib的安装与使用

jiuweideqixu的博客

08-21

1601

软硬件环境名称版本系统 Ubuntu 18.04.4 LTS 内存 7.5GiB 处理器 Intel Core i7-8565U CPU @ 1.80GHz *8 图形 Intel UHD Graphics（Whiskey Lake 3*8 GT2） GNOME 3.28.2 操作系统类型 64位磁盘 251.0 GB Hadoop 2.10.0 Spark 2.3.4 scala 2.11.8 IntelliJ IDEA U...

一个简单的Spark ML的例子

weixin_41512727的博客

05-05

4598

文章目录1-配置2-流程3-注意4-project 1-配置首先，我在虚拟上，搭建了一个单机spark2.4.1(无hadoop)。然后在本地的IDEA中远程运行spark，操作一个svm的小例子。 sbt文件： name := "spark_ml_examples" version := "0.1" scalaVersion := "2.11.12" libraryDependencies +...

import org.apache.spark.ml.mleap.SparkUti

最新发布

08-16

### 使用 `import org.apache.spark.ml.mleap.SparkUtil` 的问题在 Apache Spark 中使用 MLeap 进行模型序列化和部署时，`SparkUtil` 是一个关键的工具类，它提供了将 Spark ML 管道转换为 MLeap 格式的功能。该类...

Spark-Mlib &Spark GraphX

hello,world.

05-29

250

RandomForest(sbt打包) Find full example code at “examples/src/main/scala/org/apache/spark/examples/ml/RandomForestClassifierExample.scala” in the Spark repo. 进入spark目录 mycode中，自定义randomforest文件夹 mkdir -p randomforest/src/main/scala cd randomforest/src/m

spark环境搭建java_Spark MLlib 环境搭建超详细教程

weixin_31181381的博客

02-16

677

1、系统及环境版本系统：Win7 旗舰版 64位 sp1JDK：1.8.0Spark：2.3.2Hadoop：2.7Scala：2.11.8文章最后，有所有版本的下载链接，不用再去折腾版本之间的问题。2、环境下载2.1 Spark 下载spark2.2 hadooponwindos 下载image.png2.3 Hadoop 下载image.png2.4 JDK下载略2.5 IntelliJ ID...

Spark导入报错：object security is not a member of package org.apache.kafka.common

罟霖同学的站点

01-02

834

排查后发现是因为添加的jar依赖里没有kafka这一项，去下载了对应版本的Kafka jar包后放置在底下却仍然报错。。

object streaming is not a member of package org.apache.spark_解决方式_路漫漫远俢兮

路漫漫远修兮

06-08

1854

报错如下：遇到这个错误当时就蒙了，导包也能出错原因：在.sbt配置文件中少了% "provided"部分，完整如下： libraryDependencies += "org.apache.spark" % "spark-streaming_2.12" % "2.4.5" % "provided" 使用maven打包的参考官方连接： http://spark.apache.org/docs/latest/streaming-programming-guide.html#a-quick-examp

Spark Shell -- <console>:29: error: object y is not a member of package x

xwq的博客

07-09

890

在spark shell中导入一个包出错： import x.y 但是报错： <console>:29: error: object y is not a member of package x 解决方法：打开spark shell时将x.y包加入 bin/spark-shell --packages x.y 也看到有人说加上 root 有效： import _root_....

spark ml报错：object ml is not a member of package org.apache.spark

小蚯蚓的博客

05-15

5275

一、问题描述使用sparkml库的linalg类库等，尽管引入spark mllib依赖，但是发现无法导入相应库，运行后报错： Error:(2, 25) object ml is not a member of package org.apache.spark import org.apache.spark.ml.classification.LogisticRegression Err...

搭建sparkmllib开发环境的一些坑-----

dongdouzin的博客

04-02

5613

sparkmlib是spark用于机器学习开发的包，实现了在分布式的大数据集群上做机器学习的功能，是目前对分布式支持较好的机器学习框架，除此之外支持分布式的机器学习框架还有tensorflow和deeplearning4j,但sparkmllib天生和hadoop无缝结合，不过sparkmllib的短板是无法支持深度学习，而tensorflow和deeplearning是支持深度学习的。好了废话不...

1 Spark机器学习 spark MLlib 入门