21、词嵌入技术的深入解析与拓展

词嵌入技术的深入解析与拓展

1. 谱词嵌入（Spectral Word Embeddings）

谱方法是基于特征分解来生成密集词嵌入的一类方法，其中典型相关分析（Canonical Correlation Analysis，CCA）展现出了显著的潜力。它克服了先前方法的许多缺点，如尺度不变性问题，并且能更好地处理稀有词的样本复杂度。

CCA与主成分分析（PCA）类似，但PCA是计算单个矩阵内的最大协方差方向，而CCA计算的是两个矩阵之间的最大相关方向。CCA具有适合学习词嵌入的特性，它对线性变换具有尺度不变性，并且样本复杂度更佳。

CCA模型学习嵌入的过程如下：
- 首先计算目标词与附近c个词上下文之间的主要典型相关性。目标是找到向量 $\varphi_w$ 和 $\varphi_c$，使得它们的线性组合具有最大相关性，公式如下：
$$
\max_{\varphi_w,\varphi_c} \frac{\varphi_w^T C_{wc} \varphi_c}{\sqrt{\varphi_w^T C_{ww} \varphi_w} \sqrt{\varphi_c^T C_{cc} \varphi_c}}
$$
- 与潜在语义分析（LSA）类似，通过对词与其上下文计数的缩放共现矩阵应用奇异值分解（SVD）来实现。优化目标可以表示为：
$$
\max_{g_{\varphi_w},g_{\varphi_c}} g_{\varphi_w}^T D_{wc} g_{\varphi_c}
$$
其中：
- $g_{\varphi_w}^T g_{\varphi_w} = I$
-