12、深度学习基础：矩阵数学、优化与线性回归

深度学习基础：矩阵数学、优化与线性回归

一、神经网络权重更新方式

在深度学习中，用权重更新神经网络有两种形式：随机更新和批量更新。
- 随机更新 ：每个输入单独生成权重调整。这种方法的优点是降低算法陷入局部最小值的风险。
- 批量更新 ：误差以某种方式累积，在批量完成时进行权重调整。其优势在于学习速度更快，因为权重调整的影响更大。

在很多情况下，批量更新是最佳策略，批量大小应根据所使用的硬件尽可能设置得大。

二、线性回归基础

（一）线性回归概述

线性回归本质上是一条穿过一系列 x/y 坐标的直线，这些坐标确定数据点的位置。数据点可能并不总是直接落在直线上，但该直线显示了在理想线性坐标世界中数据点的位置。通过这条直线，可以根据 x（预测变量）的值预测 y（标准变量）的值。
- 简单线性回归 ：只有一个预测变量。
- 多元线性回归 ：有多个预测变量，此时不再依赖于直线，而是依赖于延伸到多个维度的平面。

（二）变量操作与线性回归

1. 组合变量

线性回归在统计学、经济学、心理学、社会科学和政治学等不同领域有着悠久的历史。它不仅能够对数值、二元和多元类别、概率和计数数据进行广泛的预测，还能帮助理解群体差异、建模消费者偏好以及量化模型中特征的重要性。线性和逻辑回归是大多数深度学习从业者构建模型时的首选基线模型，也用于确定问题中的关键特征、进行实验和深入了解特征创建。