28、利用语义特征扩展改进层次分类法集成

利用语义特征扩展改进层次分类法集成

1. 引言

在当今信息爆炸的时代，分类法集成问题变得日益重要。以往的研究虽然对分类法集成进行了一定的探索，但源分类法中嵌入的语义信息尚未得到充分讨论。本文提出了一种增强的集成方法——语义特征扩展（SFE），旨在利用类别特定术语的上位词的语义信息，以提高层次分类法的集成性能。

2. 相关方法介绍

2.1 最大熵模型（ME）

最大熵模型在自然语言处理和扁平化分类法集成等许多任务中表现出色。在该模型中，条件分布 $p(y|x)$ 的熵 $H(p)$ 用于衡量其均匀性，其中 $y$ 是随机过程中所有结果 $Y$ 的一个实例，$x$ 表示上下文空间 $X$ 或历史空间的上下文环境。

为了表达 $x$ 和 $y$ 之间的关系，定义了指示函数 $f(x, y)$：
[
f(x, y) =
\begin{cases}
1, & \text{if } (x, y) \text{ has the defined relationship} \
0, & \text{else}
\end{cases}
]

熵 $H(p)$ 的定义为：
[
H(p) = - \sum_{x \in X} p(y|x) \log p(y|x)
]

最大熵原理是找到一个概率模型 $p^ \in C$，使得：
[
p^ = \arg\max_{p \in C} H(p)
]
其中 $C$ 是允许的条件概率集合，但存在两个约束条件