18、用于安全物联网的半监督深度学习

用于安全物联网的半监督深度学习

1. 引言

在深度学习领域，有监督学习通常需要大量精确标注的数据集，才能取得良好的效果。然而，标注数据往往复杂、昂贵且耗时，需要众多专家的努力，这成为训练优秀有监督深度模型的主要障碍。相反，未标注数据通常大量存在，获取成本低且容易。因此，在少量标注数据的基础上，利用大量未标注数据来提升学习性能是一种很有优势的方法。半监督学习正是这样一个研究领域，旨在开发能同时利用标注和未标注数据进行训练的高效模型，相较于仅基于标注样本的有监督方法，它能通过利用额外的未标注样本来提高学习性能。

2. 背景和基础

• 半监督深度学习的基本公式 ：设总数据集为 $X = {X_L, X_U}$，其中 $X_L = {(x_i, y_i)} {i = 1}^L$ 是少量标注样本，$X_U = {(x_i)} {i = 1}^U$ 是大量未标注样本，且 $L < U$。若数据集包含 $K$ 个类别，$X$ 的前 $L$ 个实例标注为 ${(y_i)} {i = 1}^L \in {y_1, y_2, \cdots, y_K}$，则深度网络的半监督训练可表示为优化以下损失函数：
  [
  \min {\theta} \left( \sum_{(x,y) \in X_L} L_s(x, y, \theta) \right) {\text{监督损失}} + \alpha \left( \sum {(x) \in X_U} L_u(x, \theta) \right) {\text{无监督损失}} + \beta \left( \sum