模式识别期末复习题集第三章概率密度函数的参数估计（包含详细解题步骤，重要概念解释）

模式识别

引言

这是我期末复习时候整理的笔记。我会把每一章单独发一篇博客，都搞到一起无法发布，提示字数太多没办法了。

教材：模式识别及MATLAB实现
ISBN： 978-7-121-32127-6

第三章概率密度函数的参数估计

题目1

设样本 $X_1, X_2, \ldots, X_N$ 是来自 $p(X|\theta)$ 的随机样本，其中 $\leq x \leq \theta$ 时， $p(X|\theta) = \frac{1}{\theta}$ ，否则为 0。证明 $\theta$ 的最大似然估计是 $max X_k$ 。

解析

1. 写出似然函数

设样本 $X_1, X_2, \ldots, X_N$ 相互独立且服从 $p(X|\theta)$ 的分布，其联合概率密度函数（即似然函数）为：

$L(\theta) = \prod_{k=1}^N p(X_k|\theta)$

由于 $p(X|\theta) = \frac{1}{\theta}$ 当 $\leq X \leq \theta$ ，否则为 0，因此联合似然函数可以写为：

$L(\theta) = \begin{cases} \frac{1}{\theta^N}, & \text{if } \theta \geq \max(X_1, X_2, \ldots, X_N), \\ 0, & \text{otherwise}. \end{cases}$

2. 条件分析

由上式可见，似然函数 $L(\theta)$ 在 $\theta < \max(X_1, X_2, \ldots, X_N)$ 时为 0，而在 $\theta \geq \max(X_1, X_2, \ldots, X_N)$ 时为 $\frac{1}{\theta^N}$ ，这是一个随着 $\theta$ 增加而单调递减的函数。因此，为了最大化 $L(\theta)$ ， $\theta$ 应取最小值，同时满足：

$\theta \geq \max(X_1, X_2, \ldots, X_N).$

3. 最大似然估计

根据以上分析，最大化似然函数时，最优的 $\theta$ 值应为：

$\hat{\theta} = \max(X_1, X_2, \ldots, X_N).$

此时，似然函数达到最大值：

$L(\hat{\theta}) = \frac{1}{\hat{\theta}^N}.$

重要概念概述

最大似然估计（MLE）
最大似然估计是统计学中用来估计模型参数的一种方法，通过选择能够最大化样本数据似然函数的参数值来完成估计。
指示函数
在似然函数中，条件 $\leq X \leq \theta$ 是通过指示函数 $\leq X \leq \theta)$ 实现的，该函数在满足条件时为 1，否则为 0。
单调性
对于 $\theta \geq \max(X_1, X_2, \ldots, X_N)$ ，似然函数 $L(\theta) = \frac{1}{\theta^N}$ 是单调递减的，这使得 $\theta$ 的最大似然估计是条件边界上的最小值。

结论

由以上分析可知， $\theta$ 的最大似然估计为样本中的最大值：

$\hat{\theta} = \max(X_1, X_2, \ldots, X_N).$

题目2

设总体 $X$ 的概率密度函数为 $\theta) = \left(\frac{\theta}{a}\right) X^{a-1} e^{-\theta X^a}$ ，求参数 $\theta$ 的最大似然估计。

解析

为了求参数 $\theta$ 的最大似然估计，我们需要通过以下步骤进行推导：

似然函数：首先，写出似然函数 $L(\theta)$ ，它是样本 $X_1, X_2, \ldots, X_N$ 的联合概率密度函数。
- 由于样本是独立同分布的，似然函数为：
  $L(\theta) = \prod_{i=1}^N f(X_i, \theta)$
- 根据题目条件， $f(X_i, \theta) = \left(\frac{\theta}{a}\right) X_i^{a-1} e^{-\theta X_i^a}$ 。
似然函数的表达式：
- 将每个样本的概率密度函数代入，得到：
  $L(\theta) = \left(\frac{\theta}{a}\right)^N \prod_{i=1}^N X_i^{a-1} e^{-\theta \sum_{i=1}^N X_i^a}$
对数似然函数：为了简化计算，取对数似然函数 $l(\theta)$ ：
$l(\theta) = \ln L(\theta) = N \ln \left(\frac{\theta}{a}\right) + (a-1) \sum_{i=1}^N \ln X_i - \theta \sum_{i=1}^N X_i^a$
求导并求解：对 $l(\theta)$ 关于 $\theta$ 求导，并令其等于 0：
$\frac{d l(\theta)}{d \theta} = \frac{N}{\theta} - \sum_{i=1}^N X_i^a = 0$
- 解这个方程得到：
  $\theta = \frac{N}{\sum_{i=1}^N X_i^a}$

重要概念概述

似然函数：在给定参数 $\theta$ 下，样本 $X_1, X_2, \ldots, X_N$ 的联合概率密度函数。
对数似然函数：似然函数的自然对数，通常用于简化计算。
最大似然估计：使得似然函数 $L(\theta)$ 最大的 $\theta$ 值。

通过上述推导，我们得到了参数 $\theta$ 的最大似然估计为 $\theta = \frac{N}{\sum_{i=1}^N X_i^a}$ 。

题目3

设总体分布密度为 $N(\mu, 1)$ ， $-\infty < \mu < +\infty$ ，并设 $\{X_1, X_2, \ldots, X_N\}$ ，分别利用最大似然估计和贝叶斯估计算 $\beta$ ，已知 $\mu$ 的先验分布 $p(\mu) \sim N(0, 1)$ 。

解析

最大似然估计（MLE）：
- 总体分布密度为 $N(\mu, 1)$ ，即 $X_i \sim N(\mu, 1)$ 。
- 似然函数为：
  $L(\mu; X) = \prod_{i=1}^N \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{(X_i - \mu)^2}{2}\right)$
- 取对数似然函数：
  $\ln L(\mu; X) = -\frac{N}{2} \ln(2\pi) - \sum_{i=1}^N \frac{(X_i - \mu)^2}{2}$
- 对 $\mu$ 求导并令其为0：
  $\frac{d}{d\mu} \ln L(\mu; X) = \sum_{i=1}^N (X_i - \mu) = 0$
- 解得：
  $\hat{\mu}_{\text{MLE}} = \frac{1}{N} \sum_{i=1}^N X_i$
贝叶斯估计：
- 先验分布 $p(\mu) \sim N(0, 1)$ ，即 $\mu \sim N(0, 1)$ 。
- 后验分布为：
  $p(\mu | X) \propto p(X | \mu) p(\mu)$
- 由于 $\mu) \sim N(\mu, 1)$ ，先验 $p(\mu) \sim N(0, 1)$ ，后验分布为：
  $p(\mu | X) \sim N\left(\frac{\sum_{i=1}^N X_i}{N+1}, \frac{1}{N+1}\right)$
- 贝叶斯估计为后验分布的均值：
  $\hat{\mu}_{\text{Bayes}} = \frac{\sum_{i=1}^N X_i}{N+1}$

重要概念

最大似然估计（MLE）：通过最大化似然函数来估计参数，适用于参数的点估计。
贝叶斯估计：结合先验信息和样本信息，通过后验分布来估计参数，适用于参数的分布估计。
正态分布（Normal Distribution）：一种常见的连续概率分布，具有均值和方差两个参数。

题目4

在掷硬币的游戏实验中，正面出现的概率是 $q$ ，反面出现的概率是 $1 - q$ 。设 $X_{i}, i=1,2, ..., N$ 是这个实验的结果， $X_{i} \in (0,1)$ 。

(1) 证明的最大似然估计是 $q_{ML} = \frac{1}{N} \sum_{i=1}^{N} X_{i}$ 。

(2) 证明最大似然估计结果是下列方程的解：

$q^{\sum_{i} X_{i}} (1 - q)^{N-\sum_{i} X_{i}} \left( \frac{\sum_{i} X_{i}}{q} - \frac{N - \sum_{i} X_{i}}{1 - q} \right) = 0$

解析

最大似然估计（MLE）：
- 设 $X_i$ 是独立同分布的伯努利随机变量， $X_i \sim \text{Bernoulli}(q)$ ，即 $P(X_i = 1) = q$ ， $P(X_i = 0) = 1 - q$ 。
- 似然函数为：
  $\prod_{i=1}^N q^{X_i} (1 - q)^{1 - X_i}$
- 取对数似然函数：
  $\ln L(q; X) = \sum_{i=1}^N \left( X_i \ln q + (1 - X_i) \ln (1 - q) \right)$
- 对 $q$ 求导并令其为0：
  $\frac{d}{dq} \ln L(q; X) = \sum_{i=1}^N \left( \frac{X_i}{q} - \frac{1 - X_i}{1 - q} \right) = 0$
- 解得：
  $\frac{\sum_{i=1}^N X_i}{q} = \frac{N - \sum_{i=1}^N X_i}{1 - q}$
- 进一步简化：
  $\sum_{i=1}^N X_i (1 - q) = q (N - \sum_{i=1}^N X_i)$
  $\sum_{i=1}^N X_i - q \sum_{i=1}^N X_i = q N - q \sum_{i=1}^N X_i$
  $\sum_{i=1}^N X_i = q N$
  $\frac{\sum_{i=1}^N X_i}{N}$
- 因此，最大似然估计为：
  $q_{ML} = \frac{1}{N} \sum_{i=1}^{N} X_{i}$
方程的解：
- 从上面的推导可知，最大似然估计 $q_{ML}$ 满足：
  $\frac{\sum_{i=1}^N X_i}{N}$
- 将 $\frac{\sum_{i=1}^N X_i}{N}$ 代入方程：
  $q^{\sum_{i} X_{i}} (1 - q)^{N-\sum_{i} X_{i}} \left( \frac{\sum_{i} X_{i}}{q} - \frac{N - \sum_{i} X_{i}}{1 - q} \right) = 0$
- 由于 $\frac{\sum_{i=1}^N X_i}{N}$ ，则：
  $\frac{\sum_{i} X_{i}}{q} = N$
  $\frac{N - \sum_{i} X_{i}}{1 - q} = N$
- 因此，方程变为：
  $q^{\sum_{i} X_{i}} (1 - q)^{N-\sum_{i} X_{i}} \left( N - N \right) = 0$
- 显然，方程成立。