yang_daxia的博客

1、目标检测中的ignore目标过小，过于模糊当做ignore属性处理，训练时，给样本-1类别（背景为0类别）。评测时候需要考虑ignore样本，输出不算错。2、具体评测：输入：所有的gt框、gt_ignore框、dt框评测逻辑，先获取tps和fps，再计算各个值。因为所有的框都是正样本，所以只有fp以及tp，没有fn和tn.1）对dt框，按照score排序，匹配gt框和gt_ignore框与dt框的iou，获取每一个框是否正确；dt框，gt框匹配，gt框为正样本，那tp=1,f

1、调参主要调节学习率、不同的loss的权重，可以手动调节，或者采用HPO2、训练epoch加长一般训的时间越长，结果更好。尽量加到模型的上界为止。3、loss尝试其他的loss、可能会有涨点4、pretrain一般更好的pretrain模型的表征能力好，可以训练更好的结果。如使用imagenet、coco等公开数据集pretrain5、蒸馏通过大模型蒸馏小模型等方式，提升小模型的能力6、调整模型结构可以在原始基础上修改，分析模型的算力分布，调整算力，尝试不同结构7、backbone

label smoothing作者发现在下列两种情况下标签平滑会失效或者没那么有效：1）数据集呈现长尾分布的时候（long-tailed）2）类别数目变多的时候。https://mp.weixin.qq.com/s/Gz4r4Qprl7HzG2WRuWMyUwFPNC5包含了充分的用于检测不同尺度目标的上下文信息多尺度特征融合带来的收益要远小于分而治之带来的收益.https://mp.weixin.qq.com/s/EJqAG1gTVaP2icI6QL742Across datas

Distilling Localization for Self-Supervised Representation Learning探索了自监督表征学习中的目标定位问题。分类任务中，目不同目标具有相似的背景。作者使用显著性检测，提取前景信息，替换不同的背景做数据增强，提高了模型的表征能力。参考：https://mp.weixin.qq.com/s/UexYEkLYkn0pzSgteeD5sw...

简单方法使用训练好的模型，得到预测结果和标注结果比对，不一样的可能为noise 的数据缺点：需要有训好的模型，模型不能过拟合AUM度量：所有训练epoch 的标注位置的值与其他位置的最大值的差值的平均。标注位置的值与其他位置的最大值的差值的平均：越大说明标注越正确，越小或者为负数说明不正确。Identifying Mislabeled Data using the Area Under the Margin Ranking...

背景超分领域一般只有高分辨率的图片，低分辨率的图像经过降质处理得到，常用的方法就是下采样。以DIC2K数据集为例子，采用matlab 的resize函数进行下采样处理得到不同的LR图像。https://data.vision.ee.ethz.ch/cvl/DIV2K/采样方法上采样下采样不同平台pytorch transform采用PIL库，默认PIL.Image.BILINEARhttps://pytorch.org/docs/stable/_modules/torchvision/t

任何模型都有模型上限，也就是说，即使加入再多的数据，模型也不会增长。所以应该加入尽可能少的数据，更有价值的数据。总结：主动学习为在无标注的样本池中，挖掘有用的数据标注训练，使得模型使用尽可能少的样本达到模型的上限。参考：https://zhuanlan.zhihu.com/p/39367595主动学习(Active learning)算法的原理是什么，有哪些比较具体的应用？ - 阿里巴巴淘系技术的回答 - 知乎 https://www.zhihu.com/question/265479171

对比学习是一种常用的自监督学习方法。核心思想：把正样本距离拉近，正样本与负样本距离拉远。（类似度量学习中的margin, 但是对比学习为正负样本分类，无margin概念）方式：通过一个正样本，以及k个负样本进行对比学习，研究表明K越大越好，可以取几万个。优化问题：对于一个正样本，需要和k个负样本做分类，使模型分清楚哪些是正样本，哪些是负样本，用交叉熵即可。如下图 经典方法：memory bank:把所有样本的logits存起来，计算lossMoCo：用一个qu...

1入门2、典型paper资源：论文汇总：https://github.com/subeeshvasu/Awesome-Deblurring代码：https://paperswithcode.com/task/deblurring

1、入门定义：超分即把一个低分辨率低图片恢复为高分辨率低图像数据来源：把高分辨率低图片通过人工加噪声等方式变成高分辨率卷积种类：先上采样再恢复 先恢复再上采样 渐进式等上采样 循环式等上采样和下采样损失函数：一般分为多种损失函数，使用不同等损失函数叠加。基于像素的Pixel Loss 如L2\L1 基于内容的Content loss，如利用一个训练好的分类网络，对模型输出的图片和标注图像分别做分类，求loss 基于纹理的Texture Loss，如利用一个训练好的分类网络，.

1入门https://zhuanlan.zhihu.com/p/1365543412、representation learning解耦（disentangled）、可解释（Interpretable）ICRL顶级会议和gan联系的比较紧密，如infogan3、和reid结合Look across Elapse: Disentangled Representation Learning and Photorealistic Cross-Age Face Synthes...

1、入门https://easyai.tech/blog/generative-adversarial-networks-gans-a-beginners-guide/包含生成器和判别器。生成器用于生成假图片，判别器用于判断判断图片是真的，还是生成的。所以生成器和判别器需要交叉训练代码：https://github.com/eriklindernoren/Keras-GAN...

motivation:ocr中很多文本分辨率很低，质量不好，较难识别。所以引入超分辨率的方法进行解决。一种是图片level的，先把图片变清晰，再把去识别。一种是feature level的，本文则基于feature level的本文提出的plugnet网络即基于特征level的。框架如下图所示。包括：矫正网络、特征提取网络、识别部分、超分单元1）矫正网络参考aster,自动得到20个关键点，然后使用tps插值对图像矫正。2）特征提取增加了一个特征融合，所以是992个chann

参考：https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html#sklearn.metrics.classification_reporthttps://blog.youkuaiyun.com/comway_Li/article/details/102758972对应关系：accuracy 就是之前的acc,macro avg recall就是之前的mA，macro a.

基础蒸馏中的lodigts常用lossKL散度也叫相对熵。可以理解为，q分布相对p分布的差异。可以理解为相对距离。参考：https://zh.wikipedia.org/wiki/%E7%9B%B8%E5%AF%B9%E7%86%B5和交叉熵的关系如何通俗的解释交叉熵与相对熵？ - Peiwen的回答 - 知乎 https://www.zhihu.com/question/41252833/answer/195901726torch实现https://pytorch.

1、超分辨率角度。https://www.techbeat.net/talk-info?id=450Inter-Task Association Critic for Cross-Resolution Person Re-IdentificationReal-world Person Re-Identification via Degradation Invariance Learning2、针对光照的光照不变性角度人脸是吧suvery中的 光照不变性部分...

为了解决不平衡的数据分类问题，作者设计了动态的课程学习。总的来说设计了两个课程。1）、采样程序从不平衡到平衡以及从简单到复杂。 2）、分类loss和度量学习loss的权重调整，开始阶段关注度量学习，后面关注分类。采样：初始状态：如三分类开始为1:100:50:20.不平衡，最终状态为平衡状态1:1:1:1，每一个轮次会对每一个类别做指数运算。每一个轮次的每一个batch都根据设置的程序：有一个target分布比例以及未重采样之前的分布current。如果target小于current

人类学习时，不是杂乱的学习，而是循序渐进的，先学习简单的再学习难的。所以作者提出了这样的训练策略，命名为课程学习。作者假设这样的训练方法可以加快训练的收敛速度，提高模型精度。即：非凸函数全局优化的一种策略。1）贡献：作者试图解释为什么以及什么时候这种学习策略是有效的。1、作者在不同的任务上进行了验证。2、提出了假设去解释为什么有效。3、实验结果表明课程学习起着正则化的作用。4、在凸优化任务上，课程学习也加快了向全局最优的收敛速度。2）作者介绍了深度神经网络以及训练上的困难。一些研究方法使用无

入门：https://blog.youkuaiyun.com/qq_25011449/article/details/82914803https://zhuanlan.zhihu.com/p/55720313自步学习：https://blog.youkuaiyun.com/weixin_37805505/article/details/79144854survey：Curriculum Learning of Multiple Tasks ——cvpr2015多任务的课程学习。...

行人reid 综述摘要：作者将问题分为封闭场景的reid和开发场景的reid.封闭场景分三类问题：深度特征学习、度量学习、排序优化。开放场景分为5个方面。与此同时，昨天提出了一个新的评价指标mINP，以及一种新的baseline,AWG...

a = [[1, 2], [2, 3], [3, 4], [6, 7]]b = [[1, 4], [2, 3], [3, 4], [5, 6], [0, 6, 9]]def merge_anno_query_id(ids): new_ids = ids.copy() #print(new_ids) for i, old_id in enumerate(ids): add_id = old_id.copy() for id2 in...

1、AFF：注意力特征融合https://mp.weixin.qq.com/s/xttOO1FG0X-3nu-rCQUhhw2、模型蒸馏（大模型蒸馏小模型）如：MEAL V2https://mp.weixin.qq.com/s/Mtiz3apeAVRE-0x5f-kQwQ3、acnet，新的卷积https://zhuanlan.zhihu.com/p/131282789...

自监督学习1、自监督学习属于无监督学习的一种。数据本身没有任务需要的标签。自监督学习需要人为的构造标签，让模型来学习特征。如图片切成不同的patch，预测不同的位置。如将图片旋转不同角度，得到了旋转角度标签，用正常的监督学习训练即可。所以自监督的核心之一在于：构建一个合理的标签～参考：https://zhuanlan.zhihu.com/p/96748604半监督学习...

import editdistancedef editdance_cluster(text_lists, thred=1): clusters = [] for text in text_lists: flag = False for cluster in clusters: for _text in cluster: if editdistance.distance(text, _text)<...

知识蒸馏用于压缩模型知识分为：基于响应、基于特征和基于关系。如下图：基于响应的产生softlabel。基于特征的可以学习特征图、激活图等。关系图为上述两种的混合。如两种特征图的关系（FSP）、多个老师模型构建关系图、数据的结构知识等。蒸馏方案：离线蒸馏、在线蒸馏、自我蒸馏。如下图离线蒸馏：先预训练教师模型、蒸馏时教师模型只复制产生知识。在现蒸馏：教师模型和学生模型同时训练。自我蒸馏：教师模型和学生模型使用同一个网络，所以可以看作一个特殊的在线蒸馏。可以自己的高级特

用于评价一个模型搜索 最难找到的样本的能力下图所示，假设只有三个正确样本，用绿色框表示。对于list 1和list2来说：CMC1=1是一样的，都在第一位置搜到了AP list 1更好。但是由于list2在第5个位置就找到了所有的结果，list1在第10个位置才找到，所以对于最难的样本，list2的能力更强。于是作者定义的NP以及INP。可以看出list2的INP更高，能力更强。该指标从一个新的角度体现了模型的能力。公式如下：实现：https://github.c

MarginRankingLoss：https://juejin.im/post/6844903949124763656triplet losshttps://bindog.github.io/blog/2019/10/23/why-triplet-loss-works/https://zhuanlan.zhihu.com/p/73517757

Document Image Quality Assessment属于图像质量评价的分支。研究的论文较少1.Document image quality assessment: A brief survey 2013年2.No-reference document image quality assessment based on high order image statistics 2016年3.Document image quality assessment based on im.

TIP1.2012 No-ReferenceImageQualityAssessmentin the Spatial Domain2.2012 No-ReferenceImageQualityAssessmentUsing Visual Codebooks2.2020 Learning No-Reference Quality Assessment of Multiply and Singly Distorted Images With Big Data3.2016 Tow...

1.分类无参考(NR)，半参考(RR)、全参考(FR)2.数据集BID、CID、TID、LIVE。。。失真类型：TID2013有， 24种类型，涉及模糊的只有一种高斯模糊目前没有任何一个算法可以做到在所有类型上碾压别人，而实际应用中一般只需要关注一种失真类型，所以可以根据失真类型进行选择算法。https://developer.aliyun.com/article/717322?utm_content=g_10000752363.评价指标SROCC（SRCC）反应..

1.2017年ICCV RankIQA: Learning from Rankings for No-reference Image Quality Assessment作者提出了基于排序的无参考质量评价。motivation：IQA的数据量小，基于一个CNN模型提取特征。思路：用数据增强，生产很多渐变的畸变图片，这样可以产生大量的非人工标注数据。使用孪生网络训练pair数据，然后再在传统的模型上微调。2. 2018年CVPR Hallucinated-IQA: No-Referen..

1.模糊分类北航分为：离焦模糊、高斯模糊、雾天模糊和运动模糊并且提供了相关数据集http://doip.buaa.edu.cn/info/1092/1073.htm其他分类：https://blog.youkuaiyun.com/lqhbupt/article/details/391790352.论文：Encoding Visual Sensitivity by MaxPol Convolution Filters for Image Sharpness Assessmenthttp..

原因：海思平台不支持maxpool中ceil_mode=false,resnet中的maxpool默认为false。https://pytorch.org/docs/stable/nn.html解决办法：resnet maxpool只有一处：改变输入大小，使得不受ceil_mode影响。pool计算公式：如：输入为384, 卷积后为192（192+2*1+1*（3-1）-1）/2 +1 = 95.5 + 1，torch 95+1 = 96, nnie:96+..

一种车辆识别的方法及系统201910026698 .7检测车辆-->标准化预处理（校正等）-->根据规则分割车牌为不同的区域-->对每一个区域进行识别-->汇总输出最终的结果。特点：流程为传统方法，主要使用各种特征，检测算子。没有用到任何神经网络。分割也是固定规则，规则比较奇怪，如6个三角形区域。2.停车场车牌识别错误快速处理方法、介质、 设备及装置20...

1.graph embedding指图（CS领域的图）的embedding.2.word embedding指nlp里的词向量3.image embedding车牌文字没有语义，所以单纯把文字embedding应该无太大意义。图像检索领域，特征领域以及https://zhuanlan.zhihu.com/p/46735159...

UFRP:http://www.inf.ufrgs.br/~crjung/alpr-datasets/行车记录仪视角, 巴西车牌, 单行双行, 每个车牌7个字符, 双行为摩托车有27个图片, 有两个车牌!!!!!!!!!!!!!因为text_detection多了27个图片0129车有两个相同的车牌ALOP:http://aolpr.ntust.edu.tw/lab/台湾车牌, 3个子...

首先我们为什么要使用这些呢?举个简单的例子，假设我们图像里面只有1个目标，但是定位出来10个框，1个正确的，9个错误的，那么你要按(识别出来的正确的目标/总的正确目标)来算，正确率100%，但是其实效果不是很好，而且还有框的各种情况，因此我们需要下面的指标来衡量一个目标检测模型的好坏。1.IOU(Intersection Over Union)这是关于一个具体预测的Bounding b...

https://github.com/zeusees/HyperLPR智能云图公司https://github.com/zhubenfu/License-Plate-Detect-Recognition-via-Deep-Neural-Networks-accuracy-up-to-99.9mtcnn检测到车牌之后，通过回归得到四个角点，做透视变换对齐得到水平车牌，实测可以处理角度非常偏的...

2018_IJCNN_A Robust Real-Time Automatic License Plate Recognition Based on the YOLO Detector做英文车牌识别的文章, 主要开源了作者标注的真实场景的数据集UFPR-ALPR, 4500张.算法: YOLO检测车辆 -> yolo检测车牌 -> CNN分割字符 ->字符识别,在作者自己...

传统方法:使用启发法和svm进行车牌检测, 然后通过轮廓法提取车牌,使用神经网络识别车牌号码.https://blog.youkuaiyun.com/jcjx0315/article/details/52716568text recognition1.https://www.cnblogs.com/lillylin/p/9315180.htmlASTER_An Attentional...