39、含混合连续和分类特征变量的专家网络：位置建模方法

含混合连续和分类特征变量的专家网络：位置建模方法

1. 引言

在医学相关的人工智能领域，许多实际问题涉及连续和分类特征变量。例如在癌症研究中，对患者进行分类时，既会用到原发性肿瘤大小等连续测量值，也会用到心血管疾病史和骨转移等分类变量。

在各类专家网络中，归一化高斯（NG）专家网络因其广泛的适用性和通过Dempster等人提出的期望最大化（EM）算法实现快速学习的优势而备受关注。NG专家网络通过NG函数将输入空间软划分为M个区域，其架构基于分治原则，将复杂任务分解为简单子任务并组合求解。

当数据为混合模式时，NG专家网络的门控网络假设的多元高斯分布不再有效。此前Everitt尝试将分类变量假设为由不可观测连续变量的阈值划分产生，但该方法在处理多个分类变量时数值计算困难。Ng和McLachlan提出的独立模型基于分类变量相互独立且与连续变量独立的假设，虽在实践中表现良好，但该假设在很多实际问题中可能不现实。

本文采用位置建模方法研究允许分类变量和连续变量之间存在一定依赖关系的模型，旨在为处理混合特征数据问题创建替代方法，扩展NG专家网络的应用范围。

2. 独立模型和位置模型

对于包含分类和连续特征变量的问题，设第j个实体的特征向量为$x_j = (x_{1j}^T, x_{2j}^T)^T$，其中$x_{2j}$包含连续特征，$x_{1j} = (x_{11j}, …, x_{1qj})^T$包含q个分类变量。第i个分类变量的第h个条件密度由多项分布给出。

在q个分类变量的朴素独立假设下，有：
$fh(xj) = \prod_{i=1}^{q} \prod_{v=1}^{ni} \lamb