21、词嵌入技术：原理、局限与拓展

词嵌入技术：原理、局限与拓展

1. 词嵌入方法介绍

词嵌入是自然语言处理（NLP）中的关键技术，用于将文本中的词语转换为向量表示，以便计算机能够处理和理解语言信息。下面介绍两种不同的词嵌入方法。

1.1 谱词嵌入（Spectral Word Embeddings）

基于特征分解的谱方法是生成密集词嵌入的另一类方法，其中典型相关分析（Canonical Correlation Analysis，CCA）展现出了显著的潜力。

CCA与主成分分析（PCA）类似，但PCA计算的是单个矩阵内的最大协方差方向，而CCA计算的是两个矩阵之间的最大相关方向。CCA具有尺度不变性和更好的样本复杂度等优点，适合用于学习词嵌入。

CCA模型学习嵌入的过程如下：
- 首先计算目标词与附近c个上下文词之间的主导典型相关性。目标是找到向量φw和φc，使它们的线性组合具有最大相关性，优化目标为：
[
\max_{\varphi_w,\varphi_c} \frac{\varphi_w^T C_{wc} \varphi_c}{\sqrt{\varphi_w^T C_{ww} \varphi_w} \sqrt{\varphi_c^T C_{cc} \varphi_c}}
]
- 类似于潜在语义分析（LSA），通过对词与上下文的共现矩阵进行奇异值分解（SVD）来实现。优化目标可转化为：
[
\max_{g_{\varphi_w},g_{\varphi_c}} g_{\varphi_w}^T D_{wc} g_{\varphi_c}
]
其中：
[
g_{\varp