【机器学习总结】- 第一周

【机器学习总结】- 第一周

---

本周学习了机器学习部分基础知识点，记录了14 篇学习笔记，并进行了 2 个实战练习，涵盖了代价函数、优化算法、神经网络、特征工程、模型正则化及分类任务等核心概念。

1. 机器学习基础

• 模型优化：学习了 代价函数（Cost Function） 及 梯度下降算法，掌握了如何调整模型参数以最小化误差。
• 神经网络训练：深入理解了反向传播算法，并探讨了激活函数的选择及其对模型性能的影响。
• 超参数调优：学习率（Learning Rate）和 Batch Size 的选择对训练效果的影响。
• 特征工程：分析了数据特征选择的重要性，为模型提供更有效的输入信息。
• 分类任务：
  • 逻辑回归（Logistic Regression）的工作原理及其适用于二分类和多分类任务（Softmax 回归）。
  • 交叉熵损失函数（Cross-Entropy Loss）的计算方式及其在分类问题中的作用。

2. 机器学习模型优化

• 模型泛化能力：探讨了欠拟合与过拟合，并学习了正则化（L1/L2 正则化）在提升模型泛化能力方面的作用。
• 回归与分类的对比：理解了线性回归与逻辑回归的区别，及如何在不同任务中应用。

3. 实战练习

• 线性回归实践：动手实现了单变量和多变量的线性回归，深入理解回归模型的训练过程及其在预测任务中的应用。

---

总结与思考

• 超参数（学习率、Batch Size）直接影响模型收敛速度和效果，需要结合数据特性进行调优。
• 特征工程是提高模型性能的关键，高质量特征往往比复杂模型更重要。
• 在分类任务中，Softmax 回归可以推广逻辑回归至多分类问题，提高预测能力。
• 过拟合是深度学习中的常见问题，正则化（L1/L2）、增加数据量或使用 Dropout 都是有效的解决方案。
• 实践部分帮助加深了对理论知识的理解，并强化了模型训练的关键步骤。

本周的学习奠定了机器学习基础，并通过实战练习提升了理解和应用能力。未来可以继续深入研究更复杂的深度学习模型，如 CNN、RNN 及 Transformer 等。

---

14 篇机器学习笔记
【机器学习01】 - 代价函数cost function
【机器学习02】梯度下降
【机器学习03】神经网络的反向传播 梯度函数求解
【机器学习04】-【逻辑回归】（Logistic Regression）
【机器学习-05】-激活函数的选择
【机器学习-06】-学习率的选择
【机器学习-07】-Batch Size的选择
【机器学习-08】特征工程 的 选择
【机器学习-09】-逻辑回归 (Logistic Regression)-分类问题
【机器学习10】-逻辑回归代价函数
【机器学习-11】 逻辑回归的-交叉熵损失函数
【机器学习12】-欠拟合、过拟合
【机器学习-13】-线性回归和逻辑回归（分类）正则化
【机器学习-14】-二分类 vs N分类–逻辑回归 vs. Softmax回归

---

2篇实战小节
【机器学习-练习 1 】- 线性回归
【机器学习练习 1-2 】- 多变量线性回归 MultivariateLinearRegression