搭建sparkmllib开发环境的一些坑-----

最新推荐文章于 2025-07-09 17:43:31 发布
最新推荐文章于 2025-07-09 17:43:31 发布
阅读量5.5k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 人工智能 工作实践 大数据 文章标签： spark 机器学习 sparkMllib
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dongdouzin/article/details/79793290
本文介绍了在Ubuntu或CentOS上搭建Spark MLlib开发环境的步骤，强调了避免使用Windows，并提供了遇到的问题及解决方案，包括POM文件配置、IDEA集成Scala以及本地Spark环境的设置。通过解决这些问题，成功实现本地测试，但要注意代码还需打包才能在集群上运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

sparkmlib是spark用于机器学习开发的包，实现了在分布式的大数据集群上做机器学习的功能，是目前对分布式支持较好的机器学习框架，除此之外支持分布式的机器学习框架还有tensorflow和deeplearning4j,但sparkmllib天生和hadoop无缝结合，不过sparkmllib的短板是无法支持深度学习，而tensorflow和deeplearning是支持深度学习的。


好了废话不多说，直接干

sparkmllib的开发环境建议搭建在ubantu，或者centos上，不要windows

不要windows！！！，不要windows！！！，不信你可以试试，死了别怪我没提醒。


1，安装centos和ubantud开发环境，可以是真机，也可以是虚拟机

2，安装jdk，建议安装jdk8且版本与IDEA的版本对应

3去IDEA官网下载linux版本的tar包，百度centos或者ubantu安装IDEA这个简单

4下载scala，配置环境变量，忘了百度


然后重点的坑

1pom文件建好后，没有jdk和scala

第一步，点击file，找到project structure设置全局变量和全局包

第二步看图

在settings找到plugins看看IDEA是否已经集成了scala

右击工程名，找到AddFrameworkSupport

最低0.47元/天 解锁文章

200万优质内容无限畅学
spark(56) -- SparkMllib -- SparkMllib的功能和应用场景
erainm
10-17 1572
1. SparkMllib简介及功能介绍 2. SparkML版本变迁 3. SparkMllib架构详解 4. 基于RDD的API与基于DataFrame的API区别和应用 5. SparkMllib的环境搭建与IDEA环境配置 6. RDD、DataSet、Dataframe区别及转化过程
windows10下spark2.3.0本地开发环境搭建-亲测
06-22 6126
 1  windows10下spark2.3.0本地开发环境搭建win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本：win10 家庭装，64位，x86处理器JDK1.8.0_171hadoop-2.7.6Spark-2.3.0Scala-2.11.8Maven-3.5.3ideaIC-2018.1.4.exespark-2.3.0-b...
spark MLlib 之构建机器学习系统
jslijb的博客
06-22 1万+
构建 spark 机器学习系统 spark 机器学习系统架构 spark 和 hadoop 集群的安装 spark-shell 加载数据 探索数据 数据统计信息 数据质量分析 数据特征分析 数据可视化 数据预处理 数据清理 数据变换 数据集成 数据归约 构建模型 模型评估方法 组装 模型选择或调优 交叉验证(CrossValidator)： 训练验证切分 (TrainValidatio...
Spark MLlib 入门学习笔记 - 编程环境配置
老胡的笔记
05-18 6367
在windows下配置Spark MLlib的编程环境。
基于 Spark MLlib 的推荐系统实现
m0_73889530的博客
07-09 673
基于 Spark MLlib 的推荐系统实现 本文解析了使用Spark MLlib构建推荐系统的关键技术与优化方法。首先介绍了Spark MLlib的核心框架演进，重点对比了RDD和DataFrame两种API的特性及其在2025年的最新发展（如深度学习集成、AutoML支持）。其次深入剖析了协同过滤算法原理及前沿趋势（如神经网络协同过滤、图神经网络）。最后提供了优化的Java代码实现，通过分布式操作避免性能瓶颈。全文从框架、算法到实践三个维度，为构建高效推荐系统提供了全面指导。
Spark入门_部署_spark_mllib_streaming_hive_
10-02
SPARK入门教程，主要介绍spark生态圈、平台部署，hive，实时流计算，机器学习库等
Spark - 概述&模式部署
WFSLIFE的博客
06-21 472
概述 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Spark 　Spark是一种由Scala语言开发的快速、通用、可扩展的大数据分析引擎 　Spark Core中提供了Spark最基础与最核心的功能 　Spark SQL是Spark用来操作结构化数据的组件。通过Spark SQL，用户可以使用SQL或者Apache Hive版本的SQL方言（HQL）来查询数据。 　Spark Streaming是Spark平台上针对实时数据进行流式计算的组件，提供了丰富的处理数据流的API。 　S
springboot2.0 + spark MLlib 必须使用的包
snetlogon20的博客
10-04 813
一、 基础包 spark-assembly-1.6.1-hadoop2.6.0.jar 二、spark mllib 包 至 https://www.apache.org/dyn/closer.lua/spark/spark-2.4.4下下载spark-2.4.4-bin-hadoop2.7.tgz 解压后至解压目录下的 spark-2.4.4-bin-hadoop2.7\jars， 将所有sp...
大数据处理与智能推荐-SpringBoot-MyBatis-ElasticSearch7-SparkMLlib-大众点评搜索推荐系统-基于SpringBoot和MyBatis搭建运.zip
最新发布
08-16
本压缩包文件名为“大数据处理与智能推荐-SpringBoot-MyBatis-ElasticSearch7-SparkMLlib-大众点评搜索推荐系统-基于SpringBoot和MyBatis搭建运.zip”，揭示了开发者在设计和实施推荐系统时所采用的核心技术。...
spark-2.1.1-bin-hadoop2.7.tar.gz
11-02
总的来说，"spark-2.1.1-bin-hadoop2.7.tar.gz"提供了在Hadoop 2.7环境中运行Spark所需要的所有组件和配置，使得用户能够快速地搭建起一个大数据处理平台，进行高效的数据分析和处理工作。无论是数据科学家、开发者...
关于spark的mllib学习总结（Java版）
hellozhxy的博客
08-20 2051
本篇博客主要讲述如何利用spark的mliib构建机器学习模型并预测新的数据，具体的流程如下图所示：  加载数据 对于数据的加载或保存，mllib提供了MLUtils包，其作用是Helper methods to load,save and pre-process data used in MLLib.博客中的数据是采用spark中提供的数据sample_libsvm_data.txt，其有一...
spark-mllib_2.11-2.1.3-SNAPSHOT.jar
04-01
spark-mllib_2.11-2.1.3-SNAPSHOT.jars
8.SparkMLlib（下）--SparkMLlib实战.pdf
04-04
1.Spark及其生态圈简介.pdf 2.Spark编译与部署（上）--基础环境搭建.pdf 2.Spark编译与部署（下）--Spark编译安装.pdf 2.Spark编译与部署（中）--Hadoop编译安装.pdf 3.Spark编程模型（上）--概念及SparkShell实战.pdf 3.Spark编程模型（下）--IDEA搭建及实战.pdf 4.Spark运行架构.pdf 5.Hive（上）--Hive介绍及部署.pdf 5.Hive（下）--Hive实战.pdf 6.SparkSQL（上）--SparkSQL简介.pdf 6.SparkSQL（下）--Spark实战应用.pdf 6.SparkSQL（中）--深入了解运行计划及调优.pdf 7.SparkStreaming（上）--SparkStreaming原理介绍.pdf 7.SparkStreaming（下）--SparkStreaming实战.pdf 8.SparkMLlib（上）--机器学习及SparkMLlib简介.pdf 8.SparkMLlib（下）--SparkMLlib实战.pdf 9.SparkGraphX介绍及实例.pdf 10.分布式内存文件系统Tachyon介绍及安装部署.pdf
SparkMLlib加载模型报错 org.json4s.jackson.JsonMethods$.parse$default$3()Z
qq_64955378的博客
11-29 346
SparkMLlib加载模型报错 org.json4s.jackson.JsonMethods$.parse$default$3()Z
机器学习库（MLlib）指南（Spark 2.4.5）
人month神话
05-04 1023
MLlib是Spark的机器学习（ML）库。它的目标是使机器学习的实际应用变得容易和可扩展。在较高层次上，它提供了以下工具： ML算法：常见的学习算法，如分类、回归、聚类和协作过滤 特征化：特征提取、转换、降维和筛选 工作流（Pipelines）：构建、评估和调整ML工作流的工具 持久性：保存和加载算法、模型和工作流 实用程序：线性代数、统计学、数据处理等。 注：基于DataFrame的...
spark-ml的pom文件
weixin_39031707的博客
08-26 617
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mav
[机器学习、Spark]Spark机器学习库MLlib的概述与数据类型
m0_57781407的博客
10-18 3987
MLlib是Spark提供的可扩展的机器学习库，其特点是采用较为先进的迭代式、内存存储的分析计算，使得数据的计算处理速度大大高于普通的数据处理引擎。 MLlib的主要数据类型包括本地向量、标注点、本地矩阵。 本地向量和本地矩阵是提供公共接口的简单数据模型，Breeze和Jblas提供了底层的线性代数运算。 在监督学习中用标注点类型表示训练样本。
spark sbt 无法 import ml 包问题
qq_41344892的博客
11-25 984
SPARK sbt import ml 包问题 今天导入ml包，sbt下载到本地之后，import一直爆红，运行时也报错：object ml is not a member of package org.apache.spark，后面对比ml依赖跟正常依赖，发现后面多了 * % “runtime” *，之前直接使用的是maven官网的： // https://mvnrepository.com...
请别再问我Spark的MLlib和ML库的区别
热门推荐
大数据星球-浪尖
12-01 2万+
机器学习库（MLlib）指南 MLlib是Spark的机器学习（ML）库。其目标是使实际的机器学习可扩展和容易。在高层次上，它提供了如下工具： ML算法：通用学习算法，如分类，回归，聚类和协同过滤 特征提取，特征提取，转换，降维和选择 管道：用于构建，评估和调整ML管道的工具 持久性：保存和加载算法，模型和管道 实用程序：线性代数，统计，数据处理等 公告：
Apache Spark开发指南：通过Gradle快速搭建Scala环境
根据给定的文件信息，我们可以深入探讨有关使用Gradle构建工具在集成开发环境（IDE）中配置和使用Apache Spark的知识点。由于文件描述重复，我们假设标题提供了足够的信息以开展知识点的讨论。 知识点详细说明： 1...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

生一先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值