【论文阅读】Semi-Supervised Learning with Ladder Networks

论文地址: Semi-Supervised Learning with Ladder Networks
会议: NIPS 2015
任务: 半监督分类

1. 摘要

我们将监督学习与深度神经网络中的无监督学习相结合。所提出的模型经过训练，可以通过反向传播同时最小化监督和非监督成本函数的总和，从而避免了分层预训练的需要。我们的工作建立在 Valpola 提出的梯形网络之上，我们通过将模型与监督相结合来扩展该梯形网络。

2. 算法描述

本文主要是在前任的深度半监督模型上，添加了一些适配以完成半监督任务。阅读这篇论文需要一些前置知识，貌似是有两个版本，一个是会议的（NIPS）,内容精炼，不太容易读懂；还有一个版本，是arxiv的，较为详细。

结合这两张图，大致的计算流程算是比较清晰了。

这里主要是讨论一下算法中对于损失的计算。

输入数据：
有标签数据：
{ x ( n ) , t ( n ) ∣ 1 ≤ n ≤ N } \{\mathbf{x}(n), t(n) \mid 1 \leq n \leq N\} { x(n),t(n)∣1≤n≤N}
其中，对于任意样本$\mathbf{x}(i)$的标签为$t(i)$，$1\le i\le N$。
无标签数据：
{ x ( n ) ∣ 1 ≤ n ≤ N } \{\mathbf{x}(n) \mid 1 \leq n \leq N\} { x(n)∣1≤n≤N}

C = C c + C d (1) C=C_{\mathrm{c}}+C_{\mathrm{d}}\tag{1}