本文探讨了randn函数添加噪声作为正则化手段，通过数学推导揭示其与梯度惩罚的关系。文章介绍了半监督训练中的模型平滑损失，并涉及对抗训练和虚拟对抗训练，提供了Keras实现示例。
提高效率添加随机噪声的方式容易实现，而且在不少情况下确实也很有效，但它有一个明显的缺点：不够“特异性”。噪声 是随机的，而不是针对 x 构建的，这意味着多数情况下 可能只是一个平凡样本，也就是没有对原模型造成比较明显的扰动，所以对泛化性能的提高帮助有限。增加采样从理论上来看，加入随机噪声后，单个样本的 loss 变为：
近似展开
一个直接的想法是，如果能事先把式 (3) 中的积分算出来，那就用不着低效率地采样了(或者相当于一次性采样无限多的噪声)。我们就往这个方向走一下试试。当然，精确的显式积分基本上是做不到的，我们可以做一下近似展开：
。这其实就是说 l 是光滑的，并且在 x=y 的时候取到极(小)值，且极(小)值为 0，这几个特点几乎是所有 loss 的共性了。基于这几个特点，恐怖的 (11) 式的前三项就直接为 0 了，所以最后的积分结果是：
梯度惩罚
看上去依然让人有些心悸，但总比 (11) 好多了。上式也是一个正则项，其特点是只包含一阶梯度项，而对于特定的损失函数， 可以提前算出来，我们记为 ，那么：
这些结果大家多多少少可以从著名的“花书”《深度学习》[1] 中找到类似的，所以并不是什么新的结果。类似的推导还可以参考文献 Training with noise is equivalent to Tikhonov regularization [2]。
采样近似当然，虽然能求出只带有一阶梯度的正则项 ，但事实上这个计算量也不低，因为需要对每个 都要求梯度，如果输出的分量数太大，这个计算量依然难以承受。这时候可以考虑的方案是通过采样近似计算：假设 是均值为 0、方差为 1 的分布，那么我们有：
关于对抗训练的 Keras 实现，在对抗训练浅谈：意义、方法和思考(附Keras实现)一文中已经给出过，这里笔者给出 Keras 下虚拟对抗训练的参考实现：
def virtual_adversarial_training(
model, embedding_name, epsilon=1, xi=10, iters=1
):
"""给模型添加虚拟对抗训练
其中model是需要添加对抗训练的keras模型，embedding_name
则是model里边Embedding层的名字。要在模型compile之后使用。
"""
if model.train_function is None: # 如果还没有训练函数
model._make_train_function() # 手动make
old_train_function = model.train_function # 备份旧的训练函数
# 查找Embedding层
for output in model.outputs:
embedding_layer = search_layer(output, embedding_name)
if embedding_layer is not None:
break
if embedding_layer is None:
raise Exception('Embedding layer not found')
# 求Embedding梯度
embeddings = embedding_layer.embeddings # Embedding矩阵
gradients = K.gradients(model.total_loss, [embeddings]) # Embedding梯度
gradients = K.zeros_like(embeddings) + gradients[0] # 转为dense tensor
# 封装为函数
inputs = (
model._feed_inputs + model._feed_targets + model._feed_sample_weights
) # 所有输入层
model_outputs = K.function(
inputs=inputs,
outputs=model.outputs,
name='model_outputs',
) # 模型输出函数
embedding_gradients = K.function(
inputs=inputs,
outputs=[gradients],
name='embedding_gradients',
) # 模型梯度函数
def l2_normalize(x):
return x / (np.sqrt((x**2).sum()) + 1e-8)
def train_function(inputs): # 重新定义训练函数
outputs = model_outputs(inputs)
inputs = inputs[:2] + outputs + inputs[3:]
delta1, delta2 = 0.0, np.random.randn(*K.int_shape(embeddings))
for _ in range(iters): # 迭代求扰动
delta2 = xi * l2_normalize(delta2)
K.set_value(embeddings, K.eval(embeddings) - delta1 + delta2)
delta1 = delta2
delta2 = embedding_gradients(inputs)[0] # Embedding梯度
delta2 = epsilon * l2_normalize(delta2)
K.set_value(embeddings, K.eval(embeddings) - delta1 + delta2)
outputs = old_train_function(inputs) # 梯度下降
K.set_value(embeddings, K.eval(embeddings) - delta2) # 删除扰动
return outputs
model.train_function = train_function # 覆盖原训练函数
# 写好函数后，启用虚拟对抗训练只需要一行代码
virtual_adversarial_training(model_vat, 'Embedding-Token')https://github.com/bojone/bert4keras/blob/master/examples/task_sentiment_virtual_adversarial_training.py
大概是将模型建立两次，一个模型通过标注数据正常训练，一个模型通过无标注数据虚拟对抗训练，两者交替执行，请读懂源码后再使用，不要乱套代码。实验任务为情况分类，大约有 2 万的标注数据，取前 200 个作为标注样本，剩下的作为无标注数据，VAT 和非 VAT 的表现对比如下(每个实验都重复了三次，取平均)：
文章小结
本文先介绍了添加随机噪声这一常规的正则化手段，然后通过近似展开与积分的过程，推导了它与梯度惩罚之间的联系，并从中引出了可以用于半监督训练的模型平滑损失，接着进一步联系到了监督式的对抗训练和半监督的虚拟对抗训练，最后给出了 Keras 下虚拟对抗训练的实现和例子。
参考链接
[1] https://book.douban.com/subject/27087503/[2] https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/bishop-tikhonov-nc-95.pdf[3] https://arxiv.org/abs/1704.03976[4] https://en.wikipedia.org/wiki/Power_iteration更多阅读
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。
? 来稿标准：
• 稿件确系个人原创作品，来稿需注明作者个人信息(姓名+学校/工作单位+学历/职位+研究方向)
• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志
? 投稿邮箱：
• 投稿邮箱：hr@paperweekly.site
• 所有文章配图，请单独在附件中发送
• 请留下即时联系方式(微信或手机)，以便我们在编辑发布时和作者沟通
?
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。
扫一扫
875
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
