Regression（李宏毅）机器学习 2023 Spring HW1 (Boss Baseline)

1. 深度学习简介

深度学习是一种基于人工神经网络的机器学习方法。它通过多层架构从大型数据集中自动提取特征，用于模式识别和决策。深度学习在图像识别、自然语言处理和语音识别等领域取得了显著成功。

1.1 神经网络模型

深度学习的核心是神经网络，神经网络由输入层、隐藏层和输出层组成。这种多层结构使得网络能够学习复杂的特征表示。

1.2 前向传播

数据通过网络以加权和和激活函数的形式流动：

其中 W 是权重， b 是偏置， σ 是激活函数。

1.3 损失函数

损失函数用于衡量预测值与真实值之间的差距，例如均方误差（Mean Squared Error）或交叉熵损失（Cross-Entropy Loss）：

1.4 反向传播

通过链式法则计算损失函数对参数的梯度，并使用梯度下降法更新参数：

其中， η 是学习率。

1.5 优化器和正则化

优化器（如 Adam 或 SGD）能够提高训练效率，而正则化技术有助于防止过拟合。

2. 作业结果与分析

作业 HW1 要求使用深度神经网络（DNN）构建一个回归模型，以预测美国各州次日新增 COVID-19 阳性测试的百分比