Python Spark 机器学习与Hadoop 大数据（1）学习笔记一

最新推荐文章于 2025-06-24 18:14:15 发布

原创

最新推荐文章于 2025-06-24 18:14:15 发布 · 置顶 · 462 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #Spark #机器学习 #Hadoop #学习笔记

本文是关于Python Spark与Hadoop大数据的学习笔记，涵盖了机器学习基础、Spark介绍、Spark数据处理（RDD、DataFrame、Spark SQL）、Python Spark机器学习及Spark ML Pipeline的工作流程。文中介绍了Spark在机器学习中的优势，以及Spark SQL、DataFrame和RDD在数据处理中的角色，同时阐述了Spark MLlib和Spark Streaming在实时计算中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Python Spark 机器学习与Hadoop 大数据

1.1机器学习

机器学习框架
机器学习（Machine Learning）：通过算法，和历史数据进行训练，产生得出模型。当有未知相匹配的数据时，我们可以通过模型进行一定程度上的预测。
训练数据（监督学习）分为：Feature（数据特征）Label（数据标签，预测目标）
机器学习分类：监督学习：有Feature,有Labul,无监督学习：有Feature，无Label
机器学习分类表：
分类算法 Label
监督学习二元分类（Binary Classification）只有0或1
监督学习多元分类（Multi-Class Classification）有多个选项，例1,2,3,4,5…
监督学习回归分析（Regression）值是数字，通过计算获得
无监督学习聚类分析（Clustering）将数据分组，群组内相似性最高，不同群组的相异性最高

分类	算法	Label
监督学习	二元分类（Binary Classification）	只有0或1
监督学习	多元分类（Multi-Class Classification）	有多个选项，例1,2,3,4,5…
监督学习	回归分析（Regression）