Spark Machine Learning 总览

Spark ML库算法总览
最新推荐文章于 2020-09-09 14:26:06 发布
原创 最新推荐文章于 2020-09-09 14:26:06 发布 · 899 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文概览了Spark ML库中的主要数据统计与挖掘算法，包括分类与回归算法如SVM、Logistic回归等；聚类算法如k-means、Gaussian mixture等；降维算法如SVD、PCA等；以及特征提取与转换方法。

Spark的ML(Machine Learning)库提供了主流数据统计/挖掘算法的实现，威廉将在本文中做一个总览，具体的解析将会在之后的文章中来写

分类与回归算法

算法Spark算法类Spark模型类
SVM支持向量机SVMWithSGDSVMModel
Logistic回归LogisticRegressionWithLBFGS；LogisticRegressionWithSGDLogisticRegressionModel
线性回归LinearRegressionWithSGDLinearRegressionModel
实时线性回归StreamingLinearRegressionWithSGDLinearRegressionModel
岭回归RidgeRegressionWithSGDRidgeRegressionModel
Lasso回归LassoWithSGDLassoModel
朴素贝叶斯NaiveBayesNaiveBayesModel
决策树DecisionTreeDecisionTreeModel
随机森林RandomForestRandomForestModel
Gradient-Boosted TreesGradientBoostedTreesGradientBoostedTreesModel
Isotonic regressionIsotonicRegressionIsotonicRegressionModel

协同过滤算法

算法Spark算法类Spark模型类
alternating least squares (ALS)ALSMatrixFactorizationModel

聚类算法

算法Spark算法类Spark模型类
k-meansKMeansKMeansModel
Gaussian mixtureGaussianMixtureGaussianMixtureModel
power iteration clustering (PIC)PowerIterationClusteringPowerIterationClusteringModel
latent Dirichlet allocation (LDA)LDADistributedLDAModel
streaming k-meansStreamingKMeansKMeansModel

降维算法

算法Spark算法类
singular value decomposition (SVD)RowMatrix.computeSVD
principal component analysis (PCA)RowMatrix.computePrincipalComponents

特征提取与转换

算法Spark算法类Spark模型类
TF-IDFHashingTF；IDF
Word2VecWord2VecWord2VecModel
Standard ScalerStandardScalerStandardScalerModel
NormalizerNormalizer

频繁项集的挖掘

算法Spark算法类
FP-growthFPGrowth
association rulesAssociationRules
PrefixSpanPrefixSpan
Spark大数据处理系列之Machine Learning
大数据入门零基础教程学习教学
05-17 2042
Spark的机器学习库(Spark MLlib)，包括各种机器学习算法：协同过滤算法、聚类算法、分类算法和其他算法。在前面的《Spark大数据处理》系列文章，介绍Apache Spark框架，介绍如何使用Spark SQL库的SQL接口去访问数据，使用Spark Streaming进行实时流式数据处理和分析。在本篇文章，作者将讨论机器学习概念以及如何使用Spark MLlib来进行预测分析。后面将...
Machine Learning with Spark - Second Edition
05-04
Machine Learning with Spark - Second Edition by Rajdeep Dua English | 4 May 2017 | ASIN: B01DPR2ELW | 532 Pages | AZW3 | 9.6 MB Key Features Get to the grips with the latest version of Apache Spark Utilize Spark's machine learning library to implement predictive analytics Leverage Spark’s powerful tools to load, analyze, clean, and transform your data Book Description This book will teach you about popular machine learning algorithms and their implementation. You will learn how various machine learning concepts are implemented in the context of Spark ML. You will start by installing Spark in a single and multinode cluster. Next you'll see how to execute Scala and Python based programs for Spark ML. Then we will take a few datasets and go deeper into clustering, classification, and regression. Toward the end, we will also cover text processing using Spark ML. Once you have learned the concepts, they can be applied to implement algorithms in either green-field implementations or to migrate existing systems to this new platform. You can migrate from Mahout or Scikit to use Spark ML. By the end of this book, you will acquire the skills to leverage Spark's features to create your own scalable machine learning applications and power a modern data-driven business. What you will learn Get hands-on with the latest version of Spark ML Create your first Spark program with Scala and Python Set up and configure a development environment for Spark on your own computer, as well as on Amazon EC2 Access public machine learning datasets and use Spark to load, process, clean, and transform data Use Spark's machine learning library to implement programs by utilizing well-known machine learning models Deal with large-scale text data, including feature extraction and using text data as input to your machine learning models Write Spark functions to evaluate the performance of your machine learning models
Spark Machine Learning(SparkML):机器学习(部分一)
热门推荐
Thomson617的博客
09-04 1万+
机器学习是现阶段实现人工智能应用的主要方法,它广泛应用于机器视觉、语音识别、自然语言处理、数据挖掘等领域。MLlib是Apache Spark的可伸缩机器学习库。官网地址:[http://spark.apache.org/docs/latest/ml-guide.html] Spark的机器学习(ML)库提供了许多分布式ML算法。这些算法包括特征选取、分类、回归、聚类、推荐等任务。ML还提供了用于构建工作流的ML管道、用于调优参数的交叉验证器以及用于保存和加载模型的模型持久性等工具。 其目标是使实用的机器学
Spark大数据处理系列之MachineLearning
02-25
在前面的《Spark大数据处理》系列文章，介绍ApacheSpark框架，介绍如何使用SparkSQL库的SQL接口去访问数据，使用SparkStreaming进行实时流式数据处理和分析。在本篇文章，作者将讨论机器学习概念以及如何使用Spark...
Apache Spark Machine Learning Blueprints
05-07
### Apache Spark Machine Learning Blueprints #### 一、书籍概述与背景 《Apache Spark Machine Learning Blueprints》是一本针对Apache Spark机器学习技术的实战指南。本书由Alex Liu编写，旨在帮助读者掌握...
Machine Learning with Spark(2nd) 无水印pdf
09-29
Machine Learning with Spark(2nd) 英文无水印pdf 第2版 pdf所有页面使用FoxitReader和PDF-XChangeViewer测试都可以打开 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，如有侵权，请联系上传者或csdn删除
Machine+Learning+with+Spark+Second+Edition 英文
10-25
Machine+Learning+with+Spark+Second+Edition 英文版
Mastering Machine Learning with Spark 2.X 无水印pdf
10-06
Mastering Machine Learning with Spark 2.X 英文无水印pdf pdf所有页面使用FoxitReader和PDF-XChangeViewer测试都可以打开 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，如有侵权，请联系上传者或csdn删除
Machine Learning with Spark 2nd Edition
05-15
Machine Learning with Spark Second Edition, Develop intelligent machine learning systems with Spark 2.x
Spark Machine Learning(SparkML):机器学习(部分三)
Thomson617的博客
09-09 3690
8.协同过滤(Collaborative Filtering) 协同过滤是一种推荐算法，根据用户对物品的偏好构建稀缺矩阵，并计算其对其他物品的喜好程度，通常用于推荐系统。这些技术旨在填写用户项关联矩阵的缺失条目。spark.ml目前支持基于模型的协同过滤，其中用户和产品由可用于预测缺失条目的一小组潜在因素描述。spark.ml使用交替最小二乘（ALS）算法来学习这些潜在因素。实现中spark.ml包含以下参数： (1).numBlocks是用户和项目将被分区为多个块的数量，以便并行化计算（默...
Spark Machine Learning(SparkML):机器学习(部分二)
Thomson617的博客
09-08 3031
6.分类和回归 分类与回归都是有监督学习，本质是一样的，都是特征（feature）到结果/标签（label）之间的映射，只不过分类的结果是离散值，回归是连续的。 区分分类任务和回归任务有一个简单方法，就是问一个问题：输出是否具有某种连续性。如果在可能的结果之间具有连续性，那么它就是一个回归问题。 6.1分类(Classification) 分类问题的目标是预测类别标签（class label），这些标签来自预定义的可选列表。分类问题有时可分为二分类（binary classification，在两个
Spark MLlib 机器学习
weixin_30535913的博客
08-15 942
本章导读 机器学习(machine learning, ML)是一门涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多领域的交叉学科。ML专注于研究计算机模拟或实现人类的学习行为，以获取新知识、新技能，并重组已学习的知识结构使之不断改善自身。 MLlib是Spark提供的可扩展的机器学习库。MLlib已经集成了大量机器学习的算法，由于MLlib涉及的算法众多，笔者只对部分算法进行了分析，其...
Machine Learning With Spark学习笔记
LXYTSOS的专栏
07-01 4564
此笔记为本人在阅读Machine Learning With Spark的时候所做的，笔记有翻译不准确或错误的地方欢迎大家指正。Spark集群Spark集群由两种进程组成：一个驱动程序和多个执行程序。在本地模式下，所有的进程都在同一个Java虚拟机中运行。在集群上，这些进程则通常在多个节点上运行。比如，在单机环境下运行的集群有以下特征： 1、一个主节点作为spark单机模式的主进程和驱动程序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值