一、机器学习算法与实践_01基本概念与项目流程笔记

学不会lostfound

已于 2024-10-10 13:32:34 修改

阅读量2.3k

点赞数 40

分类专栏： AI 文章标签：机器学习算法笔记

于 2024-09-14 13:15:48 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_43767064/article/details/142255831

版权

AI 专栏收录该内容

35 篇文章

订阅专栏

0、机器学习基本概念

机器学习（machine learning）采用算法和统计模型，使计算机系统能够在大量数据中找到规律，然后使用能识别这些模式（规律、趋势或结构）的模型来预测或描述新的数据

1、机器学习相关术语

机器学习采用两种主要技术：监督式学习和非监督式学习（两种技术还可以组合起来进行使用，即：半监督式学习），其中：

监督式学习算法使用已标记数据
无监督式学习算法在未标记数据中找规律
半监督式学习混合使用已标记和未标记数据

1.1 算法与模型（Algorithm&Model）

算法：偏抽象的概念，是计算机解决问题的步骤和流程
模型：偏具体的概念，用代码去实现某一个算法
- 模型的数学本质：
  - X是样本的特征
  - y是样本的标签
  - 目标是把 X 映射为 y

1.2 监督式学习（Supervised Learning）

监督式机器学习（也称为预测分析）是在包含标签和特征的数据集中找规律，并基于此规律、使用算法来训练模型，最后再使用训练出的模型来预测新数据集的特征标签

监督式学习可以进一步分为分类和回归这两种

1.2.1 分类（Classification）

分类的目标是根据已知项目的已标签示例，来预测一个项目属于哪个类别（预测的标签是一个离散型的变量）

例如：

根据训练数据中，每一组鸢尾花的【花萼长度、花萼宽度、花瓣长度、花瓣宽度】以及对应的鸢尾花类型，用算法训练出模型。然后，在训练后的模型中输入新的一组【花萼长度、花萼宽度、花瓣长度、花瓣宽度】数据，预测出此组数据对应的是什么类型的鸢尾花
根据训练数据中，每一封邮件的内容以及对应的“是否为垃圾邮件”标签，用算法训练出模型。然后，在训练后的模型中输入新的邮件内容数据，预测出此内容的邮件是否应判定为垃圾邮件

分类问题通常使用逻辑回归、“K最近邻”（KNN）、朴素贝叶斯、决策树、支持向量机（SVM）、随机森林、神经网络、集成学习等算法

1.2.2 回归（Regression）

回归的目标是估算目标结果标签与一个或多个特征变量之间的关系，以预测连续数值（预测的是一个连续型变量）

例如：

根据历史数据，预测下一阶段的房价、股票、温度等数据

回归问题通常使用线性回归、“K最近邻”（KNN）、决策树、支持向量机（SVM）、多项式回归、神经网络、集成学习等算法

1.3 无监督式学习（Unsupervised Learning）

无监督式学习（也称为描述性分析）是事先未提供已标记数据，用算法尝试“学习”输入数据中的固有结构，并发现相似性或规律性，有助于数据科学家发现之前不知道的数据规律

无监督式可以进一步分为聚类和关联这两种

1.3.1 聚类（Clustering）

聚类旨在将数据集中的样本划分成若干个组或“簇”，使得同一个簇内的样本尽可能相似，而不同簇之间的样本尽可能不同

聚类算法的目的是发现数据内在的结构和模式，而不是基于预先标记的类别

例如：

为了更好地定制产品和服务，公司希望对其客户进行细分。客户可以按人口统计数据和购买记录等特征进行分组。为了得到更有价值的结果，通常将无监督式学习聚类与监督式学习聚类相结合，以识别新客户应属于哪一组。

聚类问题通常使用K-均值聚类（K-Means Clustering）、层次聚类（Hierarchical Clustering）、DBSCAN、谱聚类（Spectral Clustering）、高斯混合模型 (GMM)等算法

1.3.2 关联（Association）

关联或频繁模式挖掘可以在大型数据项集合中发现频繁同时发生的关联（关系、依赖关系）

例如：

著名的“啤酒喝纸尿裤”的故事，就是对购物者行为进行分析，发现购买纸尿裤的男性通常也会买啤酒，于是将存在关联关系的这两个商品放在一起，使得销售额得到了进一步的提升

关联问题通常使用Apriori、FP-Growth、Eclat、隐含狄利克雷分布 (LDA)、交替最小二乘法 (ALS)等算法

2、机器学习项目流程

2.1 项目分析

项目分析是机器学习项目流程中的第一步，它涉及到对项目目标、需求和背景的深入理解。在这个阶段，需要明确项目目标、输入输出以及项目类型等因素，为后续的项目实施操作打下基础

2.1.1 明确项目目标

定义问题：首先，需要明确地定义想要解决的问题，包括了解问题背景、业务需求和预期的解决方案
目标设定：设定项目的具体目标，且这些目标应当是可量化和可实现的

2.1.2 分析外部特性

输入数据：确定项目的输入数据是什么，这包括数据的来源、类型（结构化、非结构化或半结构化）、质量和可用性
输出数据：明确项目的输出应该是什么（输出可以是预测结果、分类标签、数值预测等）

2.1.3 确定项目类型

分类项目：如果项目的输出是离散的标签或类别，那么这是一个分类问题。例如，判断邮件是否为垃圾邮件、识别图片中的物体等
回归项目：如果项目的输出是连续的数值，那么这是一个回归问题。例如，预测房价、股票价格、温度等
聚类项目：如果需要探索数据中的自然分组，而没有明确的标签或类别，那么可以考虑聚类分析
关联规则学习：如果目标是发现不同数据项之间的关联规则，如市场篮分析，那么可以考虑关联规则学习方法
异常检测：如果目标是识别数据中的异常或不寻常的模式，那么可以考虑异常检测方法

2.2 数据采集

数据采集是机器学习项目中非常关键的一步，它直接影响到模型的性能和可靠性。通过精心设计的数据采集策略，可以确保数据集具有代表性和多样性，从而提高模型的泛化能力和实用性

2.2.1 数据采集的目的和方法

数据采集是采集的是总体的一个样本集，通过样本集的统计量来估计总体的统计量

（1）构建数据集：

数据集是机器学习项目的基础，它需要根据模型的输入和输出需求来进行构建
数据集应该尽可能地反映实际问题和场景，以便训练出的模型具有实际应用价值

（2）数理统计问题：

数据采集本质上是一个数理统计问题，目的是通过样本数据来推断总体的特征
有效的数据采集策略可以帮助减少偏差，提高模型的泛化能力

（3）采样方法：

分层采样：确保从每个子群体中获取代表性样本，使得样本集在关键特征上与总体分布相似
随机采样：随机选择样本，以减少选择偏差

2.2.2 数据的结构和特征

（1）结构化数据（成行成列）：

结构化数据以表格形式存在，每行代表一个样本（独立同分布），每列代表一个特征（独立、离散/连续）
这种数据格式便于处理和分析，是大多数机器学习算法的输入形式

（2）独立同分布（IID）：

之所以要假设数据是独立同分布的，主要是因为这样的假设简化了许多统计分析和机器学习算法的理论推导，同时也使得模型的训练和预测更加有效

独立同分布是概率论中的一个重要概念，它涉及到两个关键属性：独立性和同分布性。为了生动形象地解释这个概念，我们可以想象一个有趣的场景

>场景设定：果园摘苹果

假设你有一个神奇的果园，这个果园里种满了苹果树，每棵树上都结满了红彤彤的苹果。这些苹果树由于被精心照料，所以每棵树上的苹果在大小、颜色、口感等方面都非常相似（尽管现实中可能略有差异，但这里为了说明问题，我们假设它们完全相同）

>独立性

现在，你决定去果园摘苹果。你首先走到第一棵树前，随机挑选了一个苹果摘下来。然后，你走到第二棵树前，再次随机挑选了一个苹果。在这个过程中，你摘取第一个苹果的行为对第二个苹果的选取没有任何影响。无论你第一个苹果选得是好是坏，都不会影响你第二个苹果的选择。这种“一个事件的发生不影响另一个事件”的特性，就是独立性

>同分布性

再来看这些苹果本身。由于果园里的每棵树都被精心照料，所以我们可以认为每棵树上的苹果在大小、颜色、口感等方面都是相似的。换句话说，无论你从哪棵树上摘取苹果，你得到的都是“同一种类型”的苹果，只是具体哪一个苹果是随机的。这种“所有随机变量都遵循相同的概率分布”的特性，就是同分布性

>综合解释

将独立性和同分布性结合起来，就是独立同分布（IID）了。在我们的果园摘苹果的例子中，每次摘取苹果都是一个随机事件，而这些随机事件（摘取苹果）之间是相互独立的（即一个苹果的选取不影响另一个），并且每次摘取的苹果都遵循相同的概率分布（即每棵树上的苹果都是相似的）

（3）特征类型（每一个特征都是一个独立的类型）：

离散型变量：取“有限”或“无限但可数”的状态值，如性别、类别等
连续型变量：可以在一定区间内取任意值，如长度、深度、重量等（连续型变量通常需要进行适当的处理，如归一化或离散化，以适应特定的机器学习算法）

（4）编码：

离散型变量： 离散型变量是指有限个状态，而状态大多数不是数值类型的数据，不易进行处理，所以需要对其进行编码（编码就是为了将非数值型数据转换为机器学习算法可以处理的数值型数据，方便进行处理）

离散型变量的常用编码方法分为Zero index编码和One hot编码这两种
- ①Zero Index编码： 也称为索引编码或标签编码，是一种将类别变量转换为从0开始的连续整数的方法，每个类别被赋予一个唯一的整数标签
  - 特点：
    - 简单：实现简单，易于理解和操作
    - 连续性：编码是连续的，从0开始，但这种连续性并不代表类别之间的任何顺序或等级关系
    - 维度不变：不会增加特征的维度，但是会潜在引入状态大小问题，本质上是把离散变量当做连续变量处理了
  - 应用场景：
    - 适用于那些类别之间没有顺序或等级关系的情况
    - 常用于机器学习模型中，如决策树、随机森林等
- ②One Hot编码： 也称为一位有效编码，是一种将类别变量转换为二进制向量的方法，每个类别都分别由一个长度等于类别数的向量表示，并且在此向量中只有一个位置为1，其余位置均为0（一个特征变成N个特征，对应的特征位置为1，其余位置为0，浪费了存储和计算）
  - 特点：
    - 向量表示：每个类别由一个唯一的二进制向量表示，向量中的1表示该类别的存在
    - 平等性：特征之间距离相等，互相垂直，没有大小或顺序之分
    - 无序性：One Hot编码不包含任何类别之间的顺序或等级信息
  - 应用场景：
    - 适用于需要明确区分类别，且类别之间没有顺序或等级关系的情况
    - 常用于自然语言处理、推荐系统、神经网络等场景
- ③示例： 假设有一个数据集，包含三个类别：苹果、香蕉、樱桃，则使用这两种编码方式可以表示如下：
  - Zero Index编码：
    - 苹果：0
    - 香蕉：1
    - 樱桃：2
  - One Hot编码：
    - 苹果：state 0: [1, 0, 0]
    - 香蕉：state 1: [0, 1, 0]
    - 樱桃：state 2: [0, 0, 1]
连续性变量： 连续型变量通常不需要像离散型变量那样的编码，因为它们已经是数值型，可以直接用于大多数机器学习算法。然而，在某些情况下，对连续型变量进行特定的处理或转换可能是有益的，这些处理包括：
- 中心化、归一化、标准化：详情可见本文【2.3.3】章节的介绍
- 离散化：将连续变量分割成若干个区间或桶，将其转换为离散型变量，这在某些分类任务中可能有用，尤其是当连续变量的每个区间对预测结果有明显区别时
- 特征工程：通过数学变换（如对数变换、平方根变换等）来改善模型的性能，或者创建新的特征，这些新特征可能更好地捕捉数据中的模式
- 异常值处理：因为极端的数值可能会对模型的性能产生负面影响，所以需要识别并处理异常值
- 降维：使用主成分分析（PCA）或其他方法来减少数据的维度，同时尽可能保留原始数据的信息

2.2.3 数据采集的实际考虑

数据来源：数据的来源可以多种多样，如数据库、传感器、日志文件、调查问卷等
数据质量：需要确保数据的准确性和完整性，处理缺失值和异常值
数据隐私和安全：在采集和处理数据时，需要遵守相关的隐私保护和数据安全法规
数据标注：对于监督学习，需要对数据进行准确的标注，这可能涉及到大量的人工工作

2.3 数据预处理

数据的预处理，是为了确保数据在进入模型之前是干净、一致和标准化的，从而提高模型的性能和可靠性

2.3.1 数据清洗

（1）处理重复值

目的：确保数据集中每个样本都是独特的，避免在分析和模型训练中产生偏差
方法：可以使用编程工具（如Pandas库中的drop_duplicates()函数）来识别和删除重复项

（2）处理缺失值

目的：确保数据集中的每个样本数据都是有效的，不要存在残缺数据
方法：
- 删除：如果缺失值较少，可以直接删除含有缺失值的行或列
- 填充：用统计值（如均值、中位数、众数）或使用更复杂的方法（如K最近邻、回归模型）来填充缺失值

（3）处理异常值

目的：异常值可能是错误数据或真实的极端值，需要适当处理以避免对模型造成不良影响
方法：
- 识别：使用箱型图、标准差、Z-score等方法识别异常值
- 处理：可以删除、替换或保留（如果业务逻辑支持）

（4）处理无效特征

目的：移除不提供有用信息的特征，以减少模型的复杂性和过拟合的风险
方法：
- 删除：删除那些几乎不变或与目标变量无关的特征
- 转换：将非数值型数据转换为数值型，如使用独热编码（One-Hot Encoding）

2.3.2 数据切分

一般需要将总数据集按合适比例切分为训练集和测试/验证集，使得我们在模型训练之后，能对模型的效果进行评估测试

训练集：在训练过程中，用于训练模型，让模型学习数据中的模式（模型的学习数据）
验证集：在训练过程中，用于模型选择和超参数调整，帮助选择最佳模型和调整模型参数，验证模型的效果（不参与学习过程）
测试集：在训练完成后，测试模型在未见过的数据上的表现，用来评估模型的效果（不参与学习过程）
合并验证集和测试集：在资源有限或数据较少的情况下，通常会将验证集和测试集合并使用（但这可能会影响模型评估的准确性）

2.3.3 预处理

预处理的意义：加速模型的收敛，让模型能更好地进行训练

预处理的核心思想：信息是隐藏在相对大小中，而不是绝对大小中（在预处理之后，表面上数据被改变了，但这其实只是为了方便做训练，实际上并不会改变数据内部的信息）

预处理的方法：

（1）中心化

定义：从每个数据点中减去平均值，使数据的均值为零
应用：在进行主成分分析（PCA）或聚类分析时非常有用
公式：

其中：μ 是 X 的均值

（2）归一化

定义：将数据缩放到一个固定范围，通常是0到1
方法：在处理需要距离计算的算法，如 K-最近邻和基于树的模型时，可以提高算法的效率和准确性
公式：

其中：min(X) 和max(X) 分别是X的最大值和最小值

（3）标准化

定义：将数据缩放使其具有单位方差
方法：在应用逻辑回归、支持向量机等算法时，可以提高模型的性能和稳定性
公式：

其中：μ 是 X 的均值，σ 是原始数据 X 的标准差

示例： 以简单的数据来分别画图介绍数据中心化、归一化、标准化之后的效果

# 引入numpy库，提供一些科学计算方法
import numpy as np
# 通过随机数方法生成原数据
X = np.random.randint(low=0, high=101, size=(30, ))
# 最大值、最小值、均值、标准差
X_min = X.min()
X_max = X.max()
X_mu = X.mean()
X_sigma = X.std()
# 中心化
X_centered = X - mu
# 归一化
X_normalized = (X - X_min) / (X_max - X_min)
# 标准化
X_standardized = (X - X_mu) / X_sigma

# 引入matplotlib的pyplot函数，为绘图做准备
from matplotlib import pyplot as plt
# 如果是用pycharm等后端工具绘图，需要指定图形用户界面工具包
# import matplotlib
# matplotlib.use('TkAgg')  # 设置绘图后端为 TkAgg
# 配置图像中全局的文字字体（否则中文可能不支持显示）
plt.rcParams['font.sans-serif'] = ['SimHei'] # Windows系统使用SimHei
plt.rcParams['font.family'] = 'sans-serif'
plt.rcParams['axes.unicode_minus'] = False

# 分开执行下面四段代码，分别绘制对应的图像
# 绘制原数据的图像
plt.plot(X)
plt.title(label="原数据")

# 绘制对原数据进行中心化之后的图像
plt.plot(X_centered)
plt.title(label="中心化")

# 绘制对原数据进行归一化之后的图像
plt.plot(X_normalized)
plt.title(label="归一化")

# 绘制对原数据进行标准化之后的图像
plt.plot(X_standardized)
plt.title(label="标准化")

绘图后的示例效果如下：（注意观察纵坐标）

2.4 模型映射

根据项目目标、输入输出、项目类型等内容，选择一个合适的模型，完成 X 到 y 的映射

2.5 训练模型

方法：把训练集的特征 X_train 和标签 y_train 给模型的 fit 方法，进行训练
本质：是一个学习的过程（学习如何把 X 映射为 y ）

代码示例（以python的scikit-learn库为例）：
```
model.fit(X_train, y_train)
```

2.6 评估模型

其实，在【模型映射】这一阶段中，也会评估模型，只不过那时评估的是选择哪个模型；

而此处的评估，评估的是经过训练之后模型，需要通过一些指标去了解模型的性能，并指导我们进行进一步的优化（测试集的特征 X_test 给模型的 predict 方法，并将预测出来的标签 y_pred 与测试机本身的标签 y_test 做比对）

2.6.1 分类问题的评估指标

（0）混淆矩阵的四个基本参数

在分类模型的性能评估中，TP、TN、FP 和 FN 是混淆矩阵（confusion matrix）中的四个基本组成部分，它们代表不同的预测结果。混淆矩阵是一种特定的表格布局，用于可视化算法性能（在二分类问题中的应用非常典型）。下面是每个术语的定义：

True Positive (TP)：真正例：模型正确预测为正类的样本数。例如，在疾病检测中，正确地将患者诊断为有病的情况
True Negative (TN)：真负例：模型正确预测为负类的样本数。例如，在疾病检测中，正确地将健康的人诊断为无病的情况
False Positive (FP)：假正例：模型错误预测为正类的样本数。例如，在疾病检测中，错误地将健康的人诊断为有病的情况。这类结果也被称为“第一类错误”
False Negative (FN)：假负例：模型错误预测为负类的样本数。例如，在疾病检测中，错误地将患者诊断为健康的情况。这类结果也被称为“第二类错误”

（1）准确率 (Accuracy)

定义：正确预测的样本数除以总样本数（越大越好）
公式：
优点：直观，易于理解
缺点：样本均衡（不同类别的样本，其数量都差不多）时可靠，样本不均衡时可能存在误导性

（2）召回率 (Recall) 或真正率 (True Positive Rate, TPR)

定义：正确识别的正样本数除以实际正样本总数（越大越好）
公式：
优点：特别重要于正样本的识别
缺点：可能会忽略负样本

（3）精准率 (Precision)

定义：正确识别的正样本数除以预测为正的样本总数（越大越好）
公式：
优点：衡量预测为正的样本中有多少是真正的正样本
缺点：在正样本较少时可能会有误导

（4）F1-Score

定义：精准率和召回率的调和平均数（越大越好）
公式：
优点：平衡了精准率和召回率，适用于类别不平衡的情况

备注：用sklearn.metrics中的函数计算上面四个指标时，还可以额外指定average=None参数，可以获取对于每一种分类标签预测的准确率

2.6.2 回归问题的评估指标

（1）平均绝对误差 (MAE, Mean Absolute Error)

定义：所有单个观察值与真实值的差的绝对值的平均（越小越好）
公式：
优点：直观，易于理解和解释。

（2）均方误差 (MSE, Mean Squared Error)

定义：预测值与真实值差的平方的平均值（越小越好）
公式：
优点：强调大的误差
缺点：对异常值敏感

（3）均方根误差 (RMSE, Root Mean Squared Error)

定义：均方误差MSE的平方根（越小越好）
公式：
优点：与MSE相似，但以与原数据相同的单位表示

（4）R²分数 (Coefficient of Determination)

定义：衡量模型解释的变异性的比例（越大越好）
公式：
优点：提供了模型解释数据变异性的能力的度量

2.6.3 其他考虑

混淆矩阵：在分类问题中，混淆矩阵提供了一个全面的视图，显示了真正、假正、真负和假负的数量
ROC曲线和AUC：ROC曲线是真正率对假正率的图，AUC（Area Under Curve）提供了一个单一的性能度量，值越高越好

选择合适的评估指标取决于具体问题的需求和数据的特性。在实际应用中，可能需要综合使用多个指标来全面评估模型的性能

2.7 保存和部署模型

在机器学习项目中，一旦模型被训练并评估为满足性能要求，接下来的步骤通常是将模型保存到文件中，以便将来可以轻松地重新加载和部署。以下是保存和部署模型的常用方法：

2.7.1 保存模型

（1）使用 pickle

pickle 是 Python 的一个标准库，可以序列化和反序列化 Python 对象结构

使用 pickle 保存模型的示例代码：
```
import pickle
model = ...  # 训练好的模型
with open('model.pkl', 'wb') as file:
    pickle.dump(model, file)
```

（2）使用 joblib

joblib 是一个专为 Python 中的数值和数组数据设计的序列化库，通常比 pickle 更适合大型 numpy 数组，这在机器学习模型中很常见

使用 joblib 保存模型的示例代码：
```
from joblib import dump
model = ...  # 训练好的模型
dump(model, 'model.joblib')
```

2.7.2 部署模型

反序列化模型

一旦模型被保存，它可以在任何时候被加载回来，用于预测或进一步的分析。

使用 pickle 加载模型的示例代码：

import pickle
with open('model.pkl', 'rb') as file:
    model = pickle.load(file)

使用 joblib 加载模型的示例代码：

from joblib import load
model = load('model.joblib')

2.7.3 注意事项

文件格式： dump方法保存模型时，对于保存的模型文件并没有严格的文件格式要求，通常来讲：如果用使用 pickle 库，就保存为 .pkl 格式的文件；如果用 joblib 库，就保存为 .joblib 格式的文件。但如果想保存为其他格式的文件，则也是可行的，因为它并没有强制要求是什么格式，.pkl 和 .joblib 都只是一个规范，只要我们最终命名的格式文件是保存二进制数据数据的即可
环境一致性：确保保存和加载模型的环境（如 Python 版本、依赖库版本等）尽可能一致，以避免兼容性问题
安全性：使用 pickle 时要注意安全性，因为加载恶意构造的 pickle 文件可能导致代码执行。joblib 主要用于数值类型，这方面的风险较低
模型更新：在模型部署后，可能需要根据新的数据定期更新模型。确保更新流程顺畅，并且新模型经过充分测试
模型服务：在生产环境中，模型通常作为服务部署，如使用 Flask、Django、FastAPI 等框架创建 API 接口，以便应用程序可以调用模型进行预测

通过这些步骤，可以确保模型不仅在开发阶段可用，而且在生产环境中也能稳定运行，为最终用户提供价值

2.8 模型迭代

模型保存和部署之后，需要对其进行监控和维护，同时，需要基于用户的反馈进行改进和迭代

（1）监控和维护（Monitoring and Maintenance）：

监控模型在实际应用中的表现，确保其稳定性和准确性
根据新的数据或业务需求对模型进行更新和维护

（2）反馈循环（Feedback Loop）：

收集模型预测的结果和用户反馈，用于进一步训练和改进模型

3 容易搞混的概念

3.1 分类与聚类

分类（Classification）和聚类（Clustering）是两种不同的数据分析方法，它们在目标、方法和应用场景上都有所区别：

（1）分类（Classification）

监督学习：分类是一种监督学习任务，意味着在训练过程中使用标记的数据
目标：目的是预测数据点的离散标签或类别
方法：使用算法（如逻辑回归、决策树、支持向量机等）从训练数据中学习如何将特征映射到已知的类别
评估：通常使用准确率、召回率、F1分数等指标来评估模型的性能
应用：广泛用于垃圾邮件检测、图像识别、医疗诊断等领域

（2）聚类（Clustering）

无监督学习：聚类是一种无监督学习任务，训练过程中不使用标记的数据

目标：目的是将数据点分组成自然聚集的组或簇，使得同一簇内的点尽可能相似，不同簇之间的点尽可能不同

方法：使用算法（如K-均值、层次聚类、DBSCAN等）来发现数据中的固有结构和模式

评估：没有明确的评估指标，通常通过可视化、轮廓系数等方法来评估聚类的质量

应用：广泛用于市场细分、社交网络分析、图像分割等领域

主要区别

标签：分类使用标签数据，而聚类不使用标签
目标：分类的目标是预测新的数据点属于哪个已知类别，聚类的目标是探索数据中的未知结构
方法论：分类方法通常基于已知的类别标签来构建模型，聚类方法则是基于数据点之间的相似性或距离来分组
应用场景：分类常用于预测任务，如判断一封邮件是否为垃圾邮件；聚类常用于探索性数据分析，如市场细分或社交网络中的社区发现

3.2 线性与连续性

在数学和统计学中，"线性"和"连续性"是两个不同的概念，它们描述了变量之间的关系和性质：

（1）线性（Linearity）：

线性描述的是两个或多个变量之间的关系。如果一个变量是另一个变量的线性函数，那么它们之间的关系可以用直线方程来表示。例如，如果 y = mx + b ，其中 m 是斜率， b 是截距，那么 y 与 x 之间就是线性关系
在机器学习和统计模型中，线性模型假设输入变量（特征）和输出变量（目标）之间的关系是线性的，或者可以通过线性组合来近似

（2）连续性（Continuity）：