球面嵌入、分类与多语言文档语言检测的研究
在数据分析和模式识别领域,球面嵌入和分类以及多语言文档中的语言检测与跟踪是两个重要的研究方向。下面将详细介绍这两方面的研究内容。
球面嵌入与分类
在找到新的点位置 $x_i$ 后,我们通过指数映射(exp - map)将新点定位到球面流形上,公式如下:
$p’_i = p_i \cos \theta + \frac{\sin \theta}{\theta} x_i$ (21)
除了在球面流形上嵌入距离,在流形中执行分类等操作也很重要。一些分类器在球面流形上很容易实现,如最近邻(NN)分类器。而其他利用几何信息的分类器则需要进行修改,以适应弯曲空间的非欧几里得几何特性。这里我们讨论非平面流形中的最近均值分类器(NMC)。
流形上一组点的内在均值可以通过广义均值来计算:
$\overline{P} = \arg \min_P \sum_i d_g(P, P_i)$ (22)
我们可以使用涉及指数映射的迭代过程来求解流形中一组点的均值:
$m^{(k + 1)} = Exp_{m^{(i)}} \frac{1}{n} \sum_i Log_{m^{(i)}} p_i$ (23)
虽然这个过程在一般流形中的收敛性不能保证,但在超球面上表现良好。因此,我们可以计算每个类别的均值 $m_1, \ldots, m_C$ 并实现 NMC:
$c^* = \arg \min_c \left( r \cos^{-1} \frac{\langle x, m_c \rangle}{r^2} \right)$ (24)
为了验证方法的有效性,我们将嵌入方法应用于多个不确定数据集。这些数据集由不同的实际问题中的相异度度量生成,具体数据集及其特性如下表所示:
| 数据集 | 大小 | 负特征分数(NEF) | 三角不等式违反情况 | 不对称性 |
| — | — | — | — | — |
| CoilYork | 288 | 0.258 | 1/23639616 | 0.009 |
| DelftGestures | 1500 | 0.308 | 14798/3368253000 | 0 |
| FlowCyto - 1 | 612 | 0.275 | 272052/228098520 | 0 |
| FlowCyto - 2 | 612 | 0.268 | 161517/228098520 | 0 |
| FlowCyto - 3 | 612 | 0.275 | 272879/228098520 | 0 |
| FlowCyto - 4 | 612 | 0.272 | 268991/228098520 | 0 |
| Newsgroups | 600 | 0.202 | 4643/214921200 | 0 |
| Chickenpieces - 5 | 446 | 0.216 | 0/88120680 | 0.044 |
| Chickenpieces - 10 | 446 | 0.257 | 1/88120680 | 0.046 |
| Chickenpieces - 15 | 446 | 0.286 | 74/88120680 | 0.051 |
| Chickenpieces - 20 | 446 | 0.307 | 695/88120680 | 0.057 |
| Chickenpieces - 25 | 446 | 0.320 | 1375/88120680 | 0.063 |
| Chickenpieces - 30 | 446 | 0.331 | 3188/88120680 | 0.067 |
| Chickenpieces - 35 | 446 | 0.339 | 4834/88120680 | 0.073 |
| Chickenpieces - 40 | 446 | 0.345 | 7549/88120680 | 0.076 |
| CatCortex | 65 | 0.272 | 286/262080 | 0 |
| CoilDelftDiff | 288 | 0.128 | 1/23639616 | 0 |
| CoilDelftSame | 288 | 0.027 | 0/23639616 | 0 |
| WoodyPlants50 | 791 | 0.229 | 115253/493038210 | 0 |
| ProDom | 2604 | 0.043 | 136/17636907624 | 0 |
| Zongker | 2000 | 0.419 | 6583656/7988004000 | 0.051 |
我们通过两种方式来衡量嵌入的准确性。首先,测量嵌入距离的均方根分数误差:
$RMS \ Error = \left( \frac{1}{n} \sum_{ij} \frac{D_{ij} - D^*_{ij}}{\overline{D}} \right)$ (25)
其中 $\overline{D}$ 是原始数据中对象之间的平均相异度。其次,测量嵌入前后的 1NN 分类器误差,以验证嵌入是否能充分保留类别的局部结构。最后一列展示了超球面上 NMC 分类器的性能。
| 数据集 | 大小 | 原始 1NN 误差 | 误差半径 | 嵌入后 1NN 误差 | NMC 误差 |
|---|---|---|---|---|---|
| Newsgroups | 600 | 0.269 ± 0.015 | 0.022 | 0.6298 | 0.279 ± 0.012 |
| CoilDelftDiff | 288 | 0.487 ± 0.033 | 0.030 | 0.0277 | 0.479 ± 0.022 |
| Chickenpieces - 5 | 446 | 0.350 ± 0.022 | 0.030 | 66.9 | 0.417 ± 0.022 |
| WoodyPlants50 | 791 | 0.101 ± 0.008 | 0.034 | 0.4362 | 0.147 ± 0.015 |
| Chickenpieces - 10 | 446 | 0.170 ± 0.016 | 0.039 | 33.4 | 0.249 ± 0.018 |
| DelftGestures | 1500 | 0.042 ± 0.0048 | 0.039 | 3.9826 | 0.135 ± 0.009 |
| Chickenpieces - 15 | 446 | 0.079 ± 0.011 | 0.049 | 20.73 | 0.116 ± 0.018 |
| Chickenpieces - 20 | 446 | 0.069 ± 0.012 | 0.052 | 17 | 0.109 ± 0.011 |
| Chickenpieces - 25 | 446 | 0.048 ± 0.01 | 0.057 | 13.1 | 0.086 ± 0.013 |
| FlowCyto - 2 | 612 | 0.366 ± 0.019 | 0.059 | 12132 | 0.378 ± 0.017 |
| Chickenpieces - 30 | 446 | 0.048 ± 0.009 | 0.062 | 11.01 | 0.091 ± 0.013 |
| CoilYork | 288 | 0.278 ± 0.025 | 0.063 | 177.8 | 0.307 ± 0.024 |
| FlowCyto - 3 | 612 | 0.413 ± 0.013 | 0.072 | 13078 | 0.421 ± 0.021 |
| Chickenpieces - 35 | 446 | 0.065 ± 0.011 | 0.073 | 10.12 | 0.069 ± 0.007 |
| Chickenpieces - 40 | 446 | 0.087 ± 0.014 | 0.078 | 8.14 | 0.099 ± 0.012 |
| FlowCyto - 1 | 612 | 0.369 ± 0.013 | 0.078 | 12794 | 0.425 ± 0.008 |
| CatCortex | 65 | 0.095 ± 0.034 | 0.084 | 2.33 | 0.111 ± 0.04 |
| FlowCyto - 4 | 612 | 0.425 ± 0.023 | 0.090 | 11761 | 0.413 ± 0.018 |
| ProDom | 2604 | 0.002 ± 0.001 | 0.122 | 471.1 | 0.038 ± 0.003 |
| CoilDelftSame | 288 | 0.636 ± 0.031 | 0.134 | 0.0577 | 0.674 ± 0.040 |
| Zongker | 2000 | 0.372 ± 0.016 | 0.233 | 0.2887 | 0.043 ± 0.005 |
结果表明,我们几乎为所有数据都获得了准确的球面嵌入。在 21 个数据集中,只有三个数据集的嵌入均方根误差超过 10%,这证明了我们的嵌入技术在寻找最优嵌入方面的有效性。对于十个数据集,嵌入前后的 1NN 性能几乎相同,而对于一个数据集(Zongker)有显著改善。对于另外十个数据集,1NN 分类性能有所下降,表明局部结构发生了一定变化,特别是 Chickenpieces 数据系列,八个例子中有六个的 1NN 分数变差,这表明该数据系列不适合球面嵌入。
NMC 分类器的性能差异较大。Chickenpieces 数据系列、CoilYork、WoodyPlants50 和 ProDom 的 NMC 性能比原始 1NN 分类器差很多,而 Newsgroups、CatCortex、CoilDelftSame 和 Zongker 则有显著改善。
多语言文档中的语言检测与跟踪
在现实生活的电子应用(如口碑传播(WoM))中,语言检测和跟踪是一个极具挑战性的问题。在这类应用中,文本的不同部分可能使用不同的语言,解决这个问题面临诸多困难。首先,分析人员不知道一种语言何时结束,另一种语言何时开始。其次,用于识别一种语言的特征(如 n - 元语法)对识别另一种语言可能无效。最后,在大多数实际应用中,语言切换前可用的文本片段非常小,使得使用传统估计方法进行有意义的分类几乎不可能。
传统处理非平稳环境的策略是使用滑动窗口,但窗口大小选择不当会导致估计不准确。最近,有人提出了一种随机学习弱估计器(SLWE),用于在分布非平稳时估计二项式/多项式分布的参数。我们建议在这个特定的模式识别问题中使用 SLWE。
在话题检测与跟踪(TDT)的在线讨论中,这种非平稳现象很常见。口碑传播(WoM)讨论通常包含来自不同作者的多种观点、不同话题和多种语言,这给训练和分类策略的设计带来了挑战。与新闻文章或期刊论文的分类不同,WoM 讨论中的帖子通常由用户即时撰写,可能包含拼写和语法错误、缩写和网络“俚语”,因此分类过程需要能够容忍这些错误。
我们的工作开发了一种高效准确的方法,用于多语言在线讨论中的话题检测和跟踪。与现有技术不同,我们引入了一种新的多语言文档语言分类方法,无需对样本文档进行预先分割,也不要求“特征”的类条件分布是平稳的。该方法利用 SLWE 来更新输入样本的概率,并结合混合阶 n - 元语法作为区分特征。
语言分类有多种方法,如使用特定字符或 n - 元语法作为区分特征、字典方法或使用常用词等。但这些方法在处理短文本时性能会显著下降。对于多语言文档,已有一些方法,但都存在一定的局限性。我们的方法与这些方法不同,我们关注的是涉及非平稳性的分类任务,并且不需要知道文档中不同语言段的边界。
SLWE 是我们解决问题的核心估计策略。当处理包含 r 个符号的字母表时,假设输入符号来自多项式随机变量。我们通过维护一个对分布 $S = [s_1, \ldots, s_r]^T$ 的运行估计 $P(n) = [p_1(n), \ldots, p_r(n)]^T$ 来估计 $S$。$p_1(n)$ 的更新规则如下:
当 $x(n) = 1$ 时,$p_1(n + 1) \leftarrow p_1 + (1 - \lambda) \sum_{j \neq 1} p_j$ (1)
当 $x(n) \neq 1$ 时,$p_1(n + 1) \leftarrow \lambda p_1$ (2)
其中 $\lambda \in [0, 1]$ 是学习率,这些更新规则会使 $P$ 的渐近值的均值精确收敛到 $S$。
综上所述,球面嵌入和分类方法在处理不确定数据集方面具有一定的有效性,但不同数据集的表现有所差异。而多语言文档的语言检测与跟踪问题,通过引入 SLWE 等新方法,有望在非平稳环境下实现更准确的分类。
球面嵌入、分类与多语言文档语言检测的研究
球面嵌入与分类的深入分析
为了更清晰地理解球面嵌入和分类的过程,我们可以通过一个流程图来展示其主要步骤:
graph LR
A[找到新点位置 $x_i$] --> B[应用 exp - map 定位新点到球面流形 $p'_i$]
B --> C[计算流形上点的内在均值 $\overline{P}$]
C --> D[使用迭代过程求解均值 $m^{(k + 1)}$]
D --> E[计算每个类别的均值 $m_1, \ldots, m_C$ 并实现 NMC]
E --> F[选择合适的数据集进行嵌入]
F --> G[衡量嵌入准确性(RMS 误差和 1NN 误差)]
从这个流程图可以看出,球面嵌入和分类是一个逐步推进的过程。首先是确定新点在球面流形上的位置,这是后续分类的基础。然后通过计算均值和使用特定的分类器(如 NMC)来对数据进行分类。最后,通过对多个数据集的实验,使用 RMS 误差和 1NN 误差来评估嵌入的准确性。
不同数据集在球面嵌入和分类中的表现差异,可能与数据集本身的特性有关。例如,Chickenpieces 数据系列在球面嵌入后的 1NN 分类性能变差,可能是因为该数据系列的局部结构较为复杂,球面嵌入改变了其原有的局部结构。而 Zongker 数据集在嵌入后 1NN 分类性能有显著改善,可能是因为球面嵌入更好地保留了该数据集的局部结构,使得分类更加准确。
多语言文档语言检测与跟踪的详细探讨
在多语言文档的语言检测与跟踪中,我们可以将使用 SLWE 进行语言分类的过程总结为以下步骤:
1.
数据准备
:收集包含多种语言的文本数据,这些数据可以来自口碑传播(WoM)讨论、在线论坛等。
2.
特征提取
:选择混合阶 n - 元语法作为区分特征,提取文本中的 n - 元语法信息。
3.
初始化估计
:初始化概率向量 $P(0) = [p_1(0), \ldots, p_r(0)]^T$,其中 $r$ 是语言的种类数。
4.
更新概率
:根据输入的文本样本 $x(n)$,使用 SLWE 的更新规则更新概率向量 $P(n)$。
- 当 $x(n) = 1$ 时,$p_1(n + 1) \leftarrow p_1 + (1 - \lambda) \sum_{j \neq 1} p_j$
- 当 $x(n) \neq 1$ 时,$p_1(n + 1) \leftarrow \lambda p_1$
5.
语言分类
:根据更新后的概率向量 $P(n)$,对输入的文本进行语言分类。
下面是一个使用 SLWE 进行语言分类的简单示例:
假设我们有三种语言:英语、法语和德语,即 $r = 3$。初始化概率向量 $P(0) = [0.3, 0.3, 0.4]^T$,学习率 $\lambda = 0.5$。
当输入文本样本 $x(0)$ 被判断为英语(即 $x(0) = 1$)时,根据更新规则:
$p_1(1) = p_1(0) + (1 - \lambda) (p_2(0) + p_3(0)) = 0.3 + (1 - 0.5) (0.3 + 0.4) = 0.65$
$p_2(1) = \lambda p_2(0) = 0.5 \times 0.3 = 0.15$
$p_3(1) = \lambda p_3(0) = 0.5 \times 0.4 = 0.2$
更新后的概率向量 $P(1) = [0.65, 0.15, 0.2]^T$,根据这个概率向量,我们可以判断输入文本更有可能是英语。
为了更直观地展示 SLWE 在语言分类中的优势,我们可以比较传统方法和使用 SLWE 方法在处理多语言文档时的性能:
| 方法 | 优点 | 缺点 |
| — | — | — |
| 传统方法(如滑动窗口) | 简单易懂 | 窗口大小选择困难,估计不准确 |
| 使用 SLWE 方法 | 适应非平稳环境,能有效处理短文本 | 对参数 $\lambda$ 的选择有一定要求 |
通过这个表格可以看出,SLWE 方法在处理多语言文档的语言检测与跟踪问题上具有明显的优势,特别是在非平稳环境和短文本的情况下。
总结与展望
球面嵌入和分类以及多语言文档中的语言检测与跟踪是两个具有重要实际意义的研究方向。球面嵌入技术在大多数数据集上能够获得准确的嵌入结果,但不同数据集的表现存在差异,需要根据数据集的特性选择合适的嵌入方法。多语言文档的语言检测与跟踪问题,通过引入随机学习弱估计器(SLWE),能够在非平稳环境下更有效地处理短文本的语言分类问题。
未来的研究可以进一步探索如何优化球面嵌入和分类的方法,提高其在复杂数据集上的性能。对于多语言文档的语言检测与跟踪,可以研究如何更好地选择 SLWE 的参数 $\lambda$,以及如何结合更多的特征来提高分类的准确性。同时,可以将这两个研究方向结合起来,探索在多语言数据集中使用球面嵌入进行特征表示和分类的可能性。
205



被折叠的 条评论
为什么被折叠?



