2、语言表示中可扩展量子方法的探索

语言表示中可扩展量子方法的探索

1. 语言处理中的量子方法

在过去十年中，量子理论在语言应用中的隐喻不断涌现。信息检索的向量空间模型被广泛采用，原因在于它借助余弦相似度实现了自然连续的“相关性得分”，而非简单的相关或不相关二元判断。与之相似，量子力学能给出特定事件被观测到的连续概率，这一特性使其在思考与自然语言的可能相似性时颇具价值。

量子现象在语言的不同层面均可能存在：
- 子词层面 ：术语和文档可视为其语义特征的线性组合，这能解释语义启动现象。
- 单词层面 ：语义空间中的单词可类比为量子粒子。在无上下文时，它处于叠加态，是该单词所有可能含义的集合，可用公式 $\rho = p_1\rho_1 +… + p_m\rho_m$ 表示，其中 $\rho$ 是语义空间中作为密度矩阵的单词，每个 $\rho_i$ 是代表该单词 $m$ 种含义之一的基态，且概率 $p_i$ 之和为 1。当在上下文中遇到该单词时，潜在含义会“坍缩”为实际含义，上下文可建模为投影算子，应用于对应单词含义状态的给定密度矩阵，导致其“坍缩”。
- 单词组合层面 ：至少有两种方法可提供解决方案。一种是利用量子理论的算子代数构建“语义演算”；另一种是依靠随机索引对词序进行编码，可使用置换或循环卷积，词序也可通过张量积进行编码。

量子方法在不同分析单元下有诸多应用：
|应用领域|具体内容|
| ---- | ---- |
|信息检索|向量空间逻辑和量子逻辑（诺伊曼代数）非常相似，这些模型可能允许新的查询类型和推理。|
|记忆模型|与量