概率建模与自然语言稀疏性解析

1、对于对称狄利克雷分布，选择超参数α < 1会促使从狄利克雷分布中抽样得到稀疏结果。你认为自然语言的哪些属性适合用这种稀疏先验分布进行数学建模？

自然语言中词性标签和单词分布通常具有稀疏性，如在特定语境中只有少数词性标签会出现，对于给定标签，发出的单词集合也往往是稀疏的，这些属性适合用这种稀疏先验分布进行数学建模。

2、考虑一个关于两个二元随机变量X和Y的概率分布p(X; Y)，其概率表如下：X取值为0和1，Y取值为0和1，当Y = 0时，对应X = 0的概率为p1，对应X = 1的概率为p2；当Y = 1时，对应X = 0的概率为p3，对应X = 1的概率为p4，且∑(i = 1到4) pi = 1 ，对于i ∈ {1, 2, 3, 4}有pi ≥ 0。写出两个大小均为2 × 2的矩阵A(y|x)和A(x|y)（用pi表示），使得：[A(y|x)]ij = p(Y = i|X = j)，[A(x|y)]ij = p(X = i|Y = j)，其中i和j取值范围为{0, 1}。

根据条件概率公式 $ P(B|A) = \frac{P(A, B)}{P(A)} $ 来计算矩阵元素。

• $ P(X = 0) = p_1 + p_3 $
• $ P(X = 1) = p_2 + p_4 $
• $ P(Y = 0) = p_1 + p_2 $
• $ P(Y = 1) = p_3 + p_4 $

矩阵 $ A(y|x) $ 为：

$$
A(y|x) =
\begin{bmatrix}
\frac{p_1}{p_1 + p_3} & \frac{p_2}{p_2 + p_4} \
\frac{p_3}{p_1 + p_3} & \frac{p_4}{p_2 + p_4}
\end{bmatrix}
$$

矩阵 $ A(x|y) $ 为：

$$
A(x|y) =
\begin{bmatrix}
\frac{