DG-Net快速理解

Joint Discriminative and Generative Learning for Person Re-identification

帮微博妹妹整毕设，发现之前学习ReID的时候还是漏掉了很多东西，比如基于GAN的ReID模型，下午看了看论文，整理一下内容。

---

论文地址：https://arxiv.org/abs/1904.07223
源码：https://github.com/NVlabs/DG-Net （正在跑）
视频链接：https://www.bilibili.com/video/av51439240/ （还没来得及看）

---

论文快速理解

限制行人重识别效果的一大问题是 不同摄像头下同一人的特征差异较大，即intra-class variation的影响。同时常用的行人重识别数据集中数据量的大小限制了模型效果。所以作者希望在扩增训练数据的同时增强数据的invariance。

一般用GAN来辅助行人重识别任务，都是直接用GAN完成数据扩增的部分，生成大量fake数据，在这些数据上进行训练。作者认为在这种情况下，GAN的部分也是一个单独的模型，和reid模型仍然是分开的。

论文中提出了名为DG-NET的模型。利用了GAN来进行数据扩增从而辅助REID模型的分类效果。并且GAN和REID模型是联合在一起形成了一个统一的框架来进行的。

Generative module

首先介绍generative module生成模块，在这一部分，作者使用了两个encoder对原始输入图像进行编码，分别将原始输入图像投射到appearance space和structure space。其中appearance包括衣服颜色、纹理风格等相关的特征，而structure包括身体大小、姿态、位置、背景等因素。作者希望实现的情况是使用不同的appearance和structure的组合，来生成大量的1.质量足够好分不出真假；2. 包含足够多的diversity的新数据。

由于structure code中可能保留更多的spatial resolution，G生成器可能会忽略掉appearance的作用而过分看重structure，一个处理方法是，把structure encoder的输入转成灰度图

在生成模块的生成过程中，要考虑到以下的情况。

1. self-identity generation

   1. appearance和structure都来自于同一张图片的情况，希望通过decoder生成的新的图像和原图实现像素层次上的一致，pixel-wise loss
      $$L_{recon}^{im{g}_1}=E[||x_i-G(a_i,s_i)|{|}_1]$$

   2. appearance来自和structure同一人的情况，希望通过decoder生成的信徒下和原图实现像素层次上的一致，即给定一人的structure，使用该人的appearance都需要还原到structure对应的原图。
      Lreconimg2=E[∣∣xi−G(at,si)∣∣1] L^{img_2}_{recon}=E[||x_i-G(a_t,s_i)||_1] Lreconimg2​​=E[∣∣xi​−G(at​,si​)∣∣