27、高维数据分类与马尔可夫逻辑网络权重学习

高维数据分类与马尔可夫逻辑网络权重学习

1. 高维数据分类问题概述

在许多领域中，数据呈现出高维度的特点，例如视频摄像头产生的图像流、具有众多节点的传感器网络输出，以及大脑的功能性磁共振成像（fMRI）时间序列等。我们常常希望利用这些高维数据进行分类任务，像让传感器网络区分入侵者和授权人员，或者分析一系列fMRI图像以确定人类受试者的认知状态。

然而，对于很多高维分类任务，可用的训练示例数量远远少于数据的维度。虽然正则化方法（如带有L1惩罚权重的逻辑回归）能处理数千个维度的数据，还有PCA、ICA和流形学习等降维技术，但当每个类别只有少数训练示例时，这些方法往往效果不佳。

实际上，许多稀疏高维问题中的特征并非真正独立。以时间序列数据为例，特征在相邻时间点上可能变化不大。如果假设数据在时间上是连续的，我们可以通过相邻时间点的特征来平滑每个特征，从而去除噪声并改善特征估计。

为了构建在少量示例下仍能良好表现的分类器，我们需要一种方法来融入关于特征之间关系的先验知识（归纳偏置）。基于此，我们提出了一种基于分层贝叶斯模型的分类器，该模型既具有参数化又具有生成性，能够预先对特征进行假设编码。

1.1 fMRI时间序列分类案例

近年来的研究表明，利用fMRI数据进行认知状态分类是可行的。例如，通过分析fMRI图像中的神经活动，研究人员能够确定一个人正在阅读的单词类别，区分吸毒者和非吸毒者，甚至判断参与者是否在说谎。

但fMRI数据分类具有挑战性，其数据维度高、噪声大且训练示例稀疏。典型的fMRI实验每秒采集一次大脑的3D体积图像，每张图像大约有5000个体素，每个体素测量大脑特定位置的神经活动（实际上测量的是