无监督调研

一.无监督
1.传统的机器学习无监督
机器学习无监督
目前网上介绍的无监督学习，主要是机器学习方向，以聚类和降维为主，不太适用目前工程项目.
2.深度学习无监督

待补坑

二.自监督学习

自监督思考
无监督特征学习
自监督学习属于无监督学习,在深度学习中，经常遇到的问题是没有足够的标记数据，而手工标记数据耗费大量时间且人工成本高昂。基于此，自我监督学习成为深度学习的研究热点，旨在从未标记样本中进行学习，以缓解数据标注困难的问题。自监督学习主要是利用辅助任务（pretext）从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。自监督学习的目标很简单，即训练一个模型使得相似的样本具有相似的表示，然而具体实现却困难重重。经过谷歌这样的诸多先驱者若干年的研究，自监督学习如今已取得一系列的进步与发展。
如何定义自监督学习？
自监督学习是指用于机器学习的标注（ground truth）源于数据本身，而非来自人工标注。
自监督学习首先属于无监督学习，因此其学习的目标无需人工标注。其次，目前的自监督学习领域可大致分为两个分支。
第一个是用于解决特定任务的自监督学习，例如场景去遮挡，以及自监督的深度估计、光流估计、图像关联点匹配等。
另一个分支则用于表征学习。有监督的表征学习，一个典型的例子是 ImageNet 分类。而无监督的表征学习中，最主要的方法则是自监督学习。自监督目前是国内大厂主要研究的一个方向,目前主要是谷歌,Facebook,DeepMind,自监督表征学习分两部分,一类是对比学习,需要负样本,如方法NPID/MoCo/MoCo v2/InfoMin,一类是不需要负样本的BYOL.

自监督分类
xingneng

一般自监督表征学习可以做特征提取和图像分类,图像分类Linear Evaluation具体来说就是固定 unsupervised learning 得到的模型, 然后在上面接一个全连接层, 在训练集上面进行 supervised learning 的训练,二是Semi-supervised training首先用 unsupervised learning 得到的模型当做初始化, 然后用 supervised learning 的方式 finetune 整个网络, 但是在 fine-tune 的时候只用整个数据集的一小部分.
BYOL后接的讨论

1.商汤和香港中文大学
OpenSelfSup,Open-MMLab自监督表征学习
代码库介绍链接
代码链接
自监督中其中比较有名的算法:
①BYOL：Bootstrap Your Own Latent
OpenSelfSup中包含的算法
讨论网址
介绍链接
②谷歌Simclr
代码链接

三.其他

①自监督用于模糊转清晰,号称速度5s,未来可能有一定的应用前景.
模糊转清晰介绍
代码链接
②异常检测,目前测试效果不理想,可以再朝这个方向探索一下.
介绍链接
代码链接

四.名词解释
无监督对比学习contrastive learning