2021-09-13 标记分布学习与标记增强

标注数据方式：单标记和多标记（允许训练示例用多种方式标记）
eg：
自然事物中有多种标注，而不同标注的重要程度是不同的。
人的面部表情有多种微表情按不同程度的表现组合而成。

示例：一幅图
标记：图中的山啊水啊花啊鸟啊

集合中的所有标记一定可以完整的描述一个示例。

对一个示例，所有标记的描述构成一种类似概率分布的数据结构，被称为标记分布。（标记分布也就是标记的分布，描述一个示例的标记的分布，图画中各种花鸟的分布）
在以标记分布标注的数据集上学习的过程称为标记分布学习。（训练一个模型，这个模型的数据集是用各种标记标注的，这个过程叫标记分布学习）

标记与示例的相关或不相关是相对的。
标记对示例的重要程度一般情况下不会恰好完全一样。（可理解为一幅图画中各部分对整体呈现的美的程度影响不同，主体肯定占更大的权重，边边角角花花草草的权重肯定小）

对一个示例的所有标记用0和1来表示，0表示不相关标记，1表示相关标记，一个示例所有的标记的逻辑值（0或1）构成的向量为逻辑向量，这个逻辑向量被称为逻辑标记。（逻辑标记是一个示例中的所有标记，[0,1,1,0,1]形式）

标记增强是指将训练样本中的原始逻辑标记转化为标记分布的过程。（类似于拼图游戏，原始逻辑标记是一些个散开的小拼块，里面有有用的（1）有没用的（0），将其按应处的位置拼接成一幅图，即对其进行位置上的重组）

标记增强利用隐含于数据中的标记间相关性，加强示例的监督信息，进而通过标记分布学习获得更好的预测效果。

标记分布学习可看作多输出回归的特例。

标记分布学习的目的是找到一个参数使得给定一个示例，能生成与该示例的真实标记分布尽可能相似的标记分布。
用Kullback-Leibler散度衡量两个分布（利用标记分布学习生成的标记分布与真实的标记分布）之间的距离，能够得出一个最佳参数的公式一。

标记分布学习的三种算法
1.“问题转化”算法（从数据集角度出发）：将标记分布学习问题转化为传统的单标记或多标记学习
转化为单标记学习时：将每个训练样本转化成c个单标记样本，并赋予每个单标记样本权值，然后依据每个样本的权值对训练集进行重采样，经过重采用的训练集转化为含有c*n个样本的标准单标记训练集，然后应用单标记学习算法作用于这个训练集上。为了预测示例的标记分布，分类器必须能够输出每个标记的描述度（类似权值），这里用到了Bayes和SVM，具体的有待进一步学习。

2.“算法改造”算法（从算法角度出发）：将传统单标记或多标记学习算法改造为能够处理标记分布数据的学习算法
某些传统算法可以自然的扩展为能够处理标记分布的算法，第一个举得k-NN没听说过，改天学一下；第二个BP神经网络改造，q（x的维度）个输入单元，c（标记个数）个输出单元，每个输出单元输出某个标记的描述度，BP算法目标是最小化这个真实标记分布和神经网络输出的标记分布之间误差的平方和。

3.专用算法：直接对公式一的参数求最优解，用到最大熵模型（没听说过），里面的式子都没看懂。

标记增强算法：
基于模糊聚类的标记增强：采用模糊C-均值聚类（FCM）和模糊运算。
FCM用隶属度确定每个数据点属于聚类的程度，该算法把n个样本分为p个模糊聚类，并求每个聚类的中心，使得所有的训练样本到聚类中心的加权距离之和最小。
图的算法和流型的算法太困了先不看了。

未来标记分布学习和标记增强方面的研究方向：
1.研究标记分布学习与传统学习范式：单标记和多标记学习的关系，通过标记增强使用标记分布学习解决多标记学习问题。
2.提出能够充分利用标记间相关性的标记增强学习算法：标记相关性既可以体现在标记空间，也可能从示例空间迁移而来。
3.研究标记分布学习算法与标记增强算法之间的关系：提出密切配合特定标记分布学习算法的标记增强算法，使得增强后得到的标记分布更有利于特定标记分布学习算法的学习过程。