Rank-consistent Ordinal Regression for Neural Networks

Rank-consistent Ordinal Regression for Neural Networks

摘要

分类任务的网络结构已经得到显著的发展，但是常用的损失函数（例如多类别交叉熵）不能解决ranking（排名）和序数回归的问题。

本文作者提出了一个新框架（Consistent Rank Logits，CORAL），该框架具有rank-monotonicity（排名单调性） and consistent confidence scores（置信分数一致性）的理论保证。预测一致性问题（后面有讲）

通过参数共享，降低了训练复杂度并且可以将其扩展到CNN网络结构中用于有序回归的任务。

此外，该方法在一系列用于年龄预测的人脸图像数据集上的经验评估表明，与目前最先进的有序回归方法相比，有很大的改进。（实验证明方法的有效性）

1.介绍

除年龄估计 [ 17 ]以外，序数回归的流行应用包括预测各种疾病的进展，例如阿尔茨海默氏症[ 8 ]，克罗恩氏症 [ 36 ]，动脉[ 34 ]和肾脏疾病[ 32 ]。同样，序数回归模型是文本消息广告[ 26 ]和各种推荐系统[ 18 ]的常见选择

常见的分类任务忽略了类别之间的顺序性，8提出扩展二分类进行有序回归的框架，但是会有分类器不一致的现象

本文作者提出了一种方法和定理保证了分类器的一致性，并且容易扩展到现有算法中使用，并且在人脸数据集上验证了算法的有效性。

2.相关工作

A. 有序回归和排名（ranking）

过去，针对线性回归已经开发了几种广义线性模型的多元扩展。

有序回归，早期14 15使用感知器和SVM，15提出了一个通用的简约框架。

1 将K ranks任务转变成K-1个二分类器，第k个任务去判断人脸年龄是否超过$r_k$ ，所有K - 1任务共享相同的中间层，但在输出层分配不同的权重参数。但是该方法不能保证预测一致性。论文中举了一个例子，假如第k个分类器预测年龄超过30岁，但是第k-1个分类器预测年龄低于20岁，最后的得到的预测年龄将是一个矛盾的现象。

1 作者中提出了此分类器在一致性问题上并不理想，并且要保证一致性的话会造成训练复杂度，本文作者就是在确保一致性的基础上，不增加复杂度。

B. CNN Architectures for Age Estimation

目前最先进的年龄估计方法都是使用CNN架构。1 21 —24

1 ：单独训练二分类器，最后结合无关的预测结果用于排序ranking

24 ：ranking-CNN，训练CNNs的ensemble，最后结合预测结果，实验显示结果优于单个模型，但是增加复杂度&出现不一致问题。

26 ：siamese CNN，只有一个输出单元跟目前看到的输出不太一样，看看?

多任务CNN相比共享浅层参数的单个CNN来说performance要好

3.提出的方法

本节描述了所提出的CORAL框架，该框架解决了基于多个二进制分类任务进行排序的有序回归CNNs中分类器不一致的问题。

A. Preliminaries

符号说明：

其中$x_i$表示第i张图片，$y_i$ 表示相应的rank值，D表示dataset，N表示样本数

$\succ$ 表示排序的顺序，有序回归的任务就是找到一个排序规则 $h:X\to Y$ ，最小化loss(h)

cost matrix ：$C\in K\ast K$

$C_{y,r_k}$ 表示将一个样本$(x,y)$ 预测为 rank $r_k $的损失，$C_{y,y} = 0