weixin_43913077的博客

负样本质量分析Cai T T, Frankle J, Schwab D J, et al. Are all negatives created equal in contrastive instance discrimination?[J]. arXiv preprint arXiv:2010.06682, 2020.最简单的 95% 的负样本是不必须的，对整个模型的影响非常小。最难的5%的负样本对整个模型的影响是巨大的，因此这些样本是必须的，而且这样的负样本数量也是足够的。仅在这些样本上进行训练就能

https://mp.weixin.qq.com/s/8W2thwO6EW7KGkhrF1XvYg

论文链接：AAAI 2021博客链接：基于对比学习的聚类工作现有的大部分深度聚类（Deep Clustering）需要迭代进行表示学习和聚类这两个过程。算法过程：对样本进行表示对样本进行聚类重复1和2缺点：一是迭代优化的过程中容易出现误差累计二是聚类过程通常采用 k-means 等需要全局相似性信息的算法，使得需要数据全部准备好后才能进行聚类，故面临不能处理在线数据的局限性提出的新方法：...

https://zhuanlan.zhihu.com/p/363900943上方链接有两个论文：解决NMT的单词遗漏[acl2019]常识推理的对比性自我监督学习对比学习有多火？文本聚类都被刷爆了…上方链接是 聚类+对比学习 来更好的对文本聚类。聚类关注高层级的语义概念，对比学习增强的语句对更关注句子级别的。SimCSEDropout来实现对比学习的数据增强。说了：对比表示学习有用，主要是因为它优化了两个目标：正例之间表示保持较近距离机样例的表示应分散在超球面上。提出这两个目