3、机器学习与深度学习基础：从模型构建到网络架构

机器学习与深度学习基础：从模型构建到网络架构

1. 构建机器学习模型

在解决实际问题时，构建机器学习模型是关键步骤。下面以垃圾邮件检测为例，介绍构建机器学习模型的典型工作流程。

1.1 数据收集与特征工程

• 数据收集 ：为了构建有效的垃圾邮件检测模型，需要收集正常邮件和垃圾邮件。收集的数据应具有足够的多样性和覆盖范围，包括不同语言、不同发件人和收件人、不同长度的邮件等。
• 数据标注 ：标注哪些邮件是正常邮件，哪些是垃圾邮件。为确保标注质量，通常由多个标注人员对邮件进行标注，最终标签通过多数投票确定。
• 特征工程 ：
  • 特征提取 ：大多数机器学习算法无法直接处理原始数据，如文本。因此，需要将原始数据转换为机器学习算法易于处理的格式。对于垃圾邮件检测，在提取特征之前，需要对邮件文本进行预处理，包括去除标点符号和停用词、词干提取和词形还原。然后从清理后的文本中提取一组特征，如邮件标题/正文的长度、某些单词/短语（如“advertise”、“promotion”、“discount”、“free shipping”等）的出现次数。
  • 特征选择和降维 ：提取的某些特征可能高度相关，存在一定程度的冗余。特征选择和降维技术可以将特征压缩到较低维度的空间，从而节省存储空间并加快训练速度。
  • 特征归一化 ：对于某些机器学习算法，需要将