Yiyang的专栏

注意力函数是 a query 和 a set of key-value pairs 到 an output的映射, key和value一一对应,一个query需要和一组key-value对计算,ouput是values的加权和，每个value对应的权重是由value对应的key和query计算出来的。

DETR的卖点是End-to-End, 它没有复杂的后处理，把目标检测问题当作集合预测问题，直接输出框。

看了李沐团队的视频，其中关于视频理解的串讲()讲的太好了，按照他的顺序看了这些论文，并做了重点针对实验部分的笔记。

这是我看的第一篇人脸生成相关的论文，对这个领域不熟悉，因此会更多关注该领域的问题，做法，套路。乍一看这个标题，可能是想把一张图里的风格(style)迁移到另一张图，把这些风格按层级划分，目的是解耦同一张图里的风格，这里的图指的是人脸，进一步你就能想到，人脸上有多种风格，解耦它们是为了可控地只迁移一种特定的风格，同时要维持其他风格不变。...

这是一篇主要讲预训练的文章，使用大尺度自动标注的数据预训练，再在reid任务中监督训练。主要的工作在于预训练的方法，可以归类位弱监督吧。前人为reid任务预训练模型时在ImageNet上做，这不能带来什么提升，他们认为是由于imagenet里图片和reid任务中的图片有着很大的domain gap。......

最近接触了一个人群密度估计的工作，就看了这篇去年的论文。标题中的Focal Inverse Distance Transform Maps（FIDT map）就点出了他们的工作，目的是要做人群的定位和密集人群计数。一般来说，基于CNN的人群密度估计的方法有三种：基于检测的，基于回归的，Density map的。这篇是属于Density map的，预测每个像素存在人头点的概率分布，他的标注一般是在人头出点一个点，这种方法计数精度高，位置精度中等，缺点是低密度场景计数精度差（相对另.............

追求一般的广泛的人工智能，把各种视觉任务（detection, segmentation, keypoint, captioning）统一到一个框架里。

6月读的论文，不咸不淡

这是以色列特拉维夫大学和Microsoft Research搞的一篇关于自监督预训练检测任务的文章，DETReg: Unsupervised Pretraining withRegion Priors for Object Detectionh， 代码https://www.amirbar.net/detreg/他们关注的是目标检测自监督训练领域，他们觉得当前如SwAV, ReSim, InsLoc这些工作，给DETR检测网络做自监督预训练时只是训练了CNN主干，而检测部分没有预训练，限制了自监督训练期

AdaptFormer港大，腾讯AI实验室，港中文贡献的文章：AdaptFormer: Adapting Vision Transformers forScalable Visual Recognition ( arXiv:2205.13535v1 [cs.CV] 26 May 2022 )他们觉得最新的transformer文章做的same network with task-specific weight工作，用的是同样的网络，但是对每个下游任务都要fine-tune模型，这样的模型是不可

https://arxiv.org/pdf/1904.00853v3.pdf使用场景densely packed scenes，图片中包含很多物体，看起来相似甚至一样，位置非常接近。如超市货架，交通，城市景观。难点位置非常接近的相似物体的bounding box预测不准，容易重叠本文贡献Soft-IoU layer, 增加估计物体和ground true的iou的层，输出Soft......