Archerrrrr的博客

这篇文章主要探讨了在少样本图像分类问题中，training algorithm 和 adaptation algorithm的相关性问题。给出了training algorithm和adaptation algorithm是完全不想关的，这意味着我们在设计少样本学习算法时，可以分别设计模型的training阶段和adaptation阶段。同时文章也在训练集规模、监督学习和自监督学习在少样本学习中的性能、以及标准finetune在少样本图像分类adaptation阶段对模型影响的问题。

总结来说，这两篇文章都较为简单，无非就是在神经网络的每一层都加上扰动，通过模型的训练来调整不同扰动的权重。这篇文章有一个问题就是他没有解释其中的Noise Mixing层的作用，没有分析其对于性能的影响，而且这篇文章是对于hidden layer连接了几个神经元作为扰动，再经过一个全连接层映射到K维，那为什么不直接扩展中间hidden layer的维度，或者扩充hidden layer的层数？我姑且认为这是个trick。

这篇文章介绍了在对抗训练后的模型上进行动态负采样，连同正例和采样出来的负样本进行对抗训练。在item recommendation上与APR[2]类似，但也有以下不同点APR是在latent vector上进行扰动，而AdvIR则在input上进行扰动，即混合不同的embedding来达到扰动的效果其次APR仅仅利用均匀负采样负例，而AdvIR则在对抗训练的模型上动态负采样负例。

这篇文章提出了一个在RS领域应用对抗训练提高模型的鲁棒性。在阅读文章过程中我有几点问题/想法目标函数是minmax game，那么是否可以用GAN的方法来同时更新扰动Δ\DeltaΔ以及Θ\ThetaΘ，即训练Δ\DeltaΔ使得模型尽可能差，同时训练Θ\ThetaΘ使得模型尽可能抵抗这种扰动这篇文章的扰动仅仅是在浅层，是否可以对更加深层次扰动，效果会不会更好？

介绍了当时一些攻击方法和防御方法，以及本篇论文的贡献Session 3 介绍几种攻击算法A. 介绍利用受限内存的拟牛顿法（L-BFGS）求解最优化问题得到对抗样本B. 介绍FGSM和I-FGSMC. 介绍Jacobian-based Saliency Map Attack (JSMA)，简单来说就是目标分类对于图像每一个像素点的梯度不同，表征每一个像素对于分类器判别该图像为目标类所作出的影响不同，选出有限数量的最有影响力的像素点进行更新D. 介绍Deepfool。

Wide & Deep 结构是一个经典的结构，在学习MLP的时候很多时候都是利用的这种结构来提取特征，那么是否还能用其它的结构来预测CTR如果利用FM来提取order-1 feature的关系，MLP作为order-2 feature的关系，是否能利用MLP来提取feature之间复杂的关系（包括order-1和order-2），毕竟MLP能拟合一切关系，不过缺点就是复杂度太高，效率不高。

模型图坐标的GMF Layer表示的是latent feature的element-wise product，即捕获latent features的线性性质。而如果u1,u2,u3在隐空间的向量如图所示，那么u4放哪都不是最合适的，这归因于MF的内积的线性性质。可以看到，u4与u1最相似，其次是与u3，最后与u2，如果将其映射到二维的隐空间，那么应该有。论文中的MF的局限性的图可以很好解释为什么MF无法很好的捕获相似关系。MovieLens和Pinterest。