多项分布与分类模型推导详解

1、考虑m个离散随机变量的多项分布如下：Pr(X1 = r1, X2 = r2, …, Xm = rm) = Mult(r1, r2, …, rm | N, p1, p2, …, pm) = N!/(r1! r2! · · · rm!) p1^r1 p2^r2 · · · pm^rm。a. 证明多项分布满足和为1的约束条件∑(X1,··· ,Xm) Pr(X1 = r1, X2 = r2, · · · , Xm = rm) = 1。b. 展示推导每个Xi（∀i = 1, 2, …, m）的均值和方差，以及任意两个Xi和Xj（∀i, j = 1, 2, …, m）的协方差的过程。

a. 证明多项分布满足和为1的约束条件：

根据二项式定理的推广，对于多项式(p₁ + p₂ + ... + pₘ)ᴺ，其展开式的每一项形式为  
$$
\frac{N!}{r₁! r₂! \cdots rₘ!} p₁^{r₁} p₂^{r₂} \cdots pₘ^{rₘ}
$$  
其中  
$$
\sum_{i=1}^{m} rᵢ = N
$$  

由于  
$$
\sum_{i=1}^{m} pᵢ = 1
$$  
所以  
$$
(p₁ + p₂ + ... + pₘ)ᴺ = 1ᴺ = 1
$$  

而  
$$
\sum_{(X₁, \cdots, Xₘ)} \Pr(X₁ = r₁, X₂ = r₂, \cdots, Xₘ = rₘ)
$$  
就是多项式(p₁ + p₂ + ... + pₘ)ᴺ的展开式求和，因此  
$$
\sum_{(X₁, \cdots, Xₘ)} \Pr(X₁ = r₁, X₂ = r₂, \cdots, Xₘ = rₘ) = 1
$$  

b. 推导均值、方差和协方差：

1. 均值E[Xᵢ]：

可以将多项分布看作是N次独立试验，每次试验中事件i发生的概率为pᵢ。根据期望的线性性质，E[Xᵢ] 等于每次试验中事件i发生的概率乘以试验次数，即  
$$
E[Xᵢ] = Npᵢ
$$  

2. 方差var(Xᵢ)：

利用方差的定义  
$$
\text{var}(Xᵢ) = E[Xᵢ²] - (E[Xᵢ])²
$$  

先求E[Xᵢ²]，通过计算和化简可得  
$$
E[Xᵢ²] = N(N - 1)pᵢ² + Npᵢ
$$  

将E[Xᵢ] = Npᵢ代入方差公式，可得  
$$
\text{var}(Xᵢ) = Npᵢ(1 - pᵢ)
$$  

3. 协方差cov(Xᵢ, Xⱼ)：

根据协方差的定义  
$$
\text{cov}(Xᵢ, Xⱼ) = E[XᵢXⱼ] - E[Xᵢ]E[Xⱼ]
$$  

计算E[XᵢXⱼ]，经过一系列计算和化简可得  
$$
E[XᵢXⱼ] = N(N - 1)pᵢpⱼ
$$  

将E[Xᵢ] = Npᵢ和E[Xⱼ] = Npⱼ代入协方差公式，可得  
$$
\text{cov}(Xᵢ, Xⱼ) = -Npᵢpⱼ
$$

2、将逻辑回归方法扩展，以处理涉及K > 2个类别的模式分类问题。

可以通过将之前的 sigmoid 函数替换为从 $ x \ (\in \mathbb{R}^n) $ 到 $ z