深度学习中的统计学基础：d2l-ai项目解读-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00473/article/details/148361010

深度学习中的统计学基础：d2l-ai项目解读

d2l-en d2l-ai/d2l-en: 是一个基于 Python 的深度学习教程，它使用了 SQLite 数据库存储数据。适合用于学习深度学习，特别是对于需要使用 Python 和 SQLite 数据库的场景。特点是深度学习教程、Python、SQLite 数据库。项目地址: https://gitcode.com/gh_mirrors/d2/d2l-en

引言：统计学在深度学习中的重要性

在深度学习领域，训练出最先进的高精度模型固然重要，但如何判断模型改进是实质性的还是训练过程中的随机波动同样关键。统计学为我们提供了量化估计值不确定性的工具，是深度学习从业者必须掌握的基础知识。

统计学的发展简史

统计学的起源可以追溯到9世纪的阿拉伯学者Al-Kindi，他最早描述了如何使用统计学和频率分析来解密加密信息。现代统计学则起源于18世纪的德国，研究人员主要关注人口和经济数据的收集与分析。如今，统计学已经成为一门涉及数据收集、处理、分析、解释和可视化的科学学科，其核心理论在学术界、工业界和政府研究中得到广泛应用。

统计学的两大分支

统计学主要分为两个重要分支：

描述性统计：关注对观察数据集合（称为样本）的特征进行总结和说明
统计推断：从给定样本中进一步推断出总体特征，基于样本分布能在某种程度上复制总体分布的假设

统计学与机器学习的本质区别

统计学侧重于推断问题，包括变量间关系的建模（如因果推断）和模型参数的统计显著性检验（如A/B测试）。而机器学习则强调在不需要显式编程和理解每个参数功能的情况下做出准确预测。

统计推断的三大方法

1. 评估和比较估计量

在统计学中，估计量是用来估计真实参数θ的函数。我们常用以下三个指标来评估和比较估计量：

均方误差(MSE)

衡量估计量与真实参数之间的平均平方偏差：

$$\textrm{MSE} (\hat{\theta}_n, \theta) = E[(\hat{\theta}_n - \theta)^2]$$

MSE越小，估计量越接近真实参数。

统计偏差

衡量估计量的系统误差：

$$\textrm{bias}(\hat{\theta}_n) = E(\hat{\theta}_n) - \theta$$

当偏差为零时，我们称估计量是无偏的。

标准差

衡量估计量本身的波动程度：

$$\sigma_{\hat{\theta}_n} = \sqrt{\textrm{Var} (\hat{\theta}_n )}$$

偏差-方差权衡

均方误差可以分解为三个部分：

$$\textrm{MSE} = (\textrm{bias})^2 + \textrm{Variance} + \textrm{Irreducible Error}$$

这种分解揭示了模型误差的三个来源：

高偏差误差：常见于简单模型（如线性回归），无法捕捉特征与输出间的高维关系，导致欠拟合
高方差误差：源于过于复杂的模型，对训练数据中的小波动过于敏感，导致过拟合
不可约误差：来自数据本身的噪声

2. 假设检验

假设检验是统计推断中最常见的主题，用于评估证据是否足以否定关于总体的默认陈述（零假设$H_0$）。

基本步骤：

明确零假设$H_0$和备择假设$H_1$
设计实验，随机分为测试组和对照组
收集数据并计算检验统计量
确定显著性水平并做出统计决策

统计显著性

衡量错误拒绝零假设的概率：

$$\textrm{statistical significance }= 1 - \alpha = 1 - P(\textrm{reject } H_0 \mid H_0 \textrm{ is true})$$

3. 置信区间构建

置信区间提供了一种量化参数估计不确定性的方法，给出了参数可能取值范围的概率陈述。

实际应用示例

通过模拟正态分布数据，我们可以验证偏差-方差权衡公式：

# 设置真实参数
theta_true = 1
sigma = 4
sample_len = 10000

# 生成样本
samples = np.random.normal(theta_true, sigma, sample_len)

# 计算样本均值作为估计量
theta_est = np.mean(samples)

# 计算MSE
mse_value = np.mean(np.square(samples - theta_true))

# 计算偏差和方差
bias = np.mean(theta_est) - theta_true
variance = np.square(samples.std())

# 验证MSE = 偏差² + 方差
print(f"MSE: {mse_value}")
print(f"Bias² + Variance: {np.square(bias) + variance}")