12、深度学习基础：矩阵数学、优化与线性回归

深度学习基础：矩阵数学、优化与线性回归

一、神经网络权重更新方式

在深度学习中，神经网络权重的更新主要有两种方式：随机更新（stochastic）和批量更新（batch）。

1.1 随机更新

• 原理 ：每个输入单独生成权重调整。
• 优点 ：降低算法陷入局部最小值的风险。

1.2 批量更新

• 原理 ：误差以某种方式累积，在批量完成时进行权重调整。
• 优点 ：学习速度更快，因为权重调整的影响更大。

在很多情况下，批量更新是最佳策略，批量大小应根据所使用的硬件尽可能设置得大。

二、线性回归基础

2.1 线性回归概述

线性回归本质上是一条穿过一系列 x/y 坐标的直线，用于确定数据点的位置。即使数据点不总是直接落在直线上，该直线也展示了在理想线性坐标世界中数据点的位置。通过这条直线，可以根据 x 值（预测变量）预测 y 值（标准变量）。
- 简单线性回归 ：只有一个预测变量。
- 多元线性回归 ：有多个预测变量，此时不再依赖直线，而是依赖一个延伸到多个维度的平面。

2.2 线性回归的应用与优势

线性回归在多个领域有着悠久的历史，如统计学、经济学、心理学、社会科学和政治学等。