Deep Learning学习笔记——概率与信息论_深度学习做条件独立检验-优快云博客

本文链接：https://blog.youkuaiyun.com/hustqb/article/details/75805816

本文介绍了概率论在深度学习中的应用，包括随机变量、概率分布、条件概率、独立性和条件独立性，以及期望、方差和协方差等概念。探讨了正态分布的重要性，以及概率分布的混合模型如高斯混合模型。此外，还概述了信息论的基础，如自信息、香农熵和KL散度，以及它们在机器学习中的角色。最后，简述了结构化概率模型和图模型在处理多个随机变量交互时的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在人工智能领域，概率论主要有两种途径。

概率法则告诉我们AI系统如何推理，据此我们设计一些算法来计算或者估算有概率论导出的表达式。（比如：神经网络的输出是概率的形式）
我们可以用概率和统计从理论上分析我们提出的AI系统的行为。（渗透在神经网络训练的方方面面）

Let's start!

随机变量
1. 随机变量是可以随机地取不同值的变量。
2. 随机变量可以使离散的或连续的。
概率分布
1. 离散型变量和概率质量函数
2. 连续型变量和概率密度函数
边缘概率
1. 有时候，我们知道了一组变量的联合概率分布，但想要了解其中一个子集的概率分布。这种定义在子集上的概率分布被称为边缘概率分布(marginal probability distribution)。
2. 对应于离散型型变量和连续型变量分别有一下两个求边缘概率的公式： $\forall x \in X, P\left $ X=x \right $=\sum_{y}P(X=x, Y=y)$ $p(x) = \int p(x, y)dy$
条件概率: $P(Y=y|X=x)=\frac{P(Y=y, X=x)}{P(X=x)}$
条件概率的链式法则: P(a, b, c) = P(a|b, c)P(b|c)P(c)
独立性和条件独立性
1. 两个随机变量x和y，如果他们的概率分布可以表示成两个因子的乘积形式，并且一个因子只包含x和另一个因子只包含y，我们就成这两个随机变量是相互独立的。
2. 就是说，相互独立的随机变量们的联合分布概率，等于他们概率分布的乘积。
3. 如果关于x和y的条件概率分布对于z的每一个值都可以写成乘积的形式，那么这两个随机变量x和y在给定随机变量z时是条件独立的(conditionally independent)：