多标签分类及其 caffe 实现总结

一直对多标签分类(multi-label)“情有独钟”，因为一直感觉没有完全弄懂它。最近看博客看多了，看着看着突然有点感觉，所以就把目前的理解整理一下写下来。
目前我看到的多标签分类任务有下面的两种情况（如有错误，欢迎交流指正）：

1. 每个样本对应多个label，label的值非0即1，最后的损失函数使用SigmoidCrossEntropyLoss，比如：

   fig1.jpg 0 0 1      
   fig2.jpg 1 0 1      
   fig3.jpg 1 1 0  

   • 1
   • 2
   • 3

   caffe官网提供的Multi-label教程就是这种情况。在这种情况下，每一个label代表某一种属性的是与否。比如第一个标签可能表示图片中是否有人，第二个代表是否有狗等等。
   属于这一类型的例子有： link1、 link2

2. 每个样本对应多个label，label可以有多于两个的取值，最后的损失函数使用多个SoftmaxWithLoss，比如：

   fig1.jpg 0 2 1      
   fig2.jpg 2 3 0      
   fig3.jpg 1 1 2      

   • 1
   • 2
   • 3

   在这种情况下，每一个label代表某一种属性的多种可能。比如第一个标签可能表示人的衣服是红色的、白色的还是蓝色的，第二个便签可能代表狗的颜色是白、黄、黑或者灰。
   属于这一类型的例子有： link3、 link4

---

上面是对多标签分类任务的一些认识，下面说一说用caffe具体的实现。
主要可以分为数据输入和损失函数两个部分：

1 数据输入

因为caffe目前还没有明确给出制作多标签lmdb文件的功能，所以准备输入数据方面可以考虑下面的方法。

1. 使用HDF5存储方式制作输入数据。但是，当数据量大的时候，HDF5存储方式的硬盘消耗大，而且速度慢；
2. 使用lmdb存储方式制作输入数据：
   
   1. data和label各存储在一个lmdb中。这一种修改的源码相对少一些，主要要修改的是生成lmdb文件对应的源码convert_imageset.cpp，可以参考上面提到的：link3、 link4；
   2. data和label存储在同一个lmdb文件中。这一种方法需要修改的源码相对多一点。具体的可以参考上面提到的： link1。
3. 使用自己的python data layer直接读取图片和label。这一种也是caffe官网上给出的多标签分类教程( link5)使用的方法，可以参考上面提到的：link2。

2 损失函数

1. 使用SigmoidCrossEntropyLoss。只需要在最后的损失函数层使用这一损失函数即可(可以参考上面的 link1、 link2)；
2. 使用多个SoftmaxWithLoss。需要用Slice层将网络的label层进行分割，然后分别提供给不同的SoftmaxWithLoss层使用(可以参考上面的 link3、 link4 )。

可以根据实际需要选择损失函数，至于哪种比较有效，我也不是很清楚，如果知道的朋友欢迎留言分享。