Spark视频王家林大神第7课： Spark机器学习内幕剖析

最新推荐文章于 2019-01-18 22:26:23 发布

大模型与Agent智能体

最新推荐文章于 2019-01-18 22:26:23 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： AI & Big Data案例实战课程

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.youkuaiyun.com/duan_zhihua/article/details/79176742

AI & Big Data案例实战课程专栏收录该内容

167 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本节内容探讨Spark机器学习的内幕，解释Spark 2.x中机器学习的本质是基于函数库的RDD/DataFrame/DataSet，并强调DataFrame-based API在优化和性能上的优势。介绍了Spark MLlib从RDD-based API逐渐过渡到DataFrame-based API的过程，以及如何基于Spark 2.x进行机器学习学习路径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark视频王家林大神第7课： Spark机器学习内幕剖析

本节讲解Spark机器学习内幕，Spark机器学习的本质是什么，Spark机器学习的内部构成到底是什么？基于Spark 2.x版本，怎么学习机器学习？这是所有做机器学习的同学都非常关注的。Spark 2.x版本的发布，标志着以Spark为核心的大数据统一计算时代真正的到来。

Spark机器学习的本质是什么？机器学习是数据+算法（迭代），从老师的角度而言，Spark机器学习就是Spark平台之上的函数库，这是一个非常重要的观点。将Spark机器学习看作普通的函数，很多函数构成函数库，机器学习mllib库函数有自己的一套逻辑，以机器学习的方式，机器学习比较特殊，具有迭代性，或基于迭代进行改进等，函数有自己内部的逻辑。这些函数基于RDD/DataFrame/DataSet，以后将全面转向DataSet。

Spark机器学习数据来源，在Spark的最底层肯定是RDD封装的，这个和Spark具体是什么版本没有任何关系，版本的发展只不过提供了更多的更高层的API而已。例如DataFrame/DataSet，而之所以有DataFrame/DataSet等，一般情况下是为了使用统一的优化引擎。在统一的优化引擎基础上，只要优化引擎，引擎上面的所有的子框架都会受益。抽象程度越高，优化算法和空间就越大。（因此越底层越高效的观点，显然是不完善的。）

Spark机器学习的数据来源主要基于RDD。看一下Spark机器学习的官网（