33、概率分布相关概念与练习解析

概率分布相关概念与练习解析

1. 近邻分类器与密度模型概述

在分类和密度估计领域，近邻分类器和核密度估计器是常用的方法。最近邻（K = 1）分类器有一个有趣的性质：当样本数量N趋于无穷大时，其错误率不会超过最优分类器最小可达到错误率的两倍。然而，K近邻方法和核密度估计器都需要存储整个训练数据集，若数据集很大，计算成本会非常高。为了缓解这个问题，可以构建基于树的搜索结构，这样能在不进行数据集的穷举搜索的情况下高效地找到（近似）近邻。但这些非参数方法仍然存在严重的局限性。

另一方面，简单的参数模型在能够表示的分布形式上非常受限。因此，我们需要寻找既非常灵活，又能独立于训练集大小控制其复杂度的密度模型。

2. 概率分布相关练习

以下是一系列关于概率分布的练习，涵盖了多种分布的性质验证、参数计算等内容。

2.1 伯努利分布性质验证

需要验证伯努利分布满足以下性质：
- $\sum_{x = 0}^{1} p(x|\mu) = 1$
- $E[x] = \mu$
- $var[x] = \mu(1 - \mu)$
同时，要证明伯努利分布的随机二进制变量x的熵为$H[x] = -\mu \ln \mu - (1 - \mu) \ln(1 - \mu)$。

2.2 对称形式伯努利分布性质

对于x取值为{-1, 1}的对称形式伯努利分布$p(x|\mu) = (\frac{1 - \mu}{2})^{\frac{1 - x}{2}} (\frac{1 + \mu}{2})^{\frac{1 + x}{2}}$（其中$\mu \in [-1, 1]