专注计算机视觉全栈知识分享

因为它解决的是 Gradient Norm 的问题，而不是全部的问题。于是，花了一天时间，最终把 Gradient Norm 的 Upper Bound 和 Lower Bound 都和 Weight Decay 强度正相关的理论证明了一下，算是把 Weight Decay 过去被忽略的关于 gradient norm 理论补全了。特征值的大小和损失曲面的形状有关，top Hessian eigenvalues 表示 Hessian 矩阵中最大的特征值，因此反映了曲面在该方向上的曲率。

如果您也有好的工作想分享给更多的小伙伴，欢迎随时联系，我们将提供一切力所能及的帮助！同时，如果有技术或学术交流需求的同学，也欢迎扫描屏幕下方二维码，添加小编微信。

近年来，基础模型取得了显著的成功，特别是通过大型语言模型LLMs），主要归因于数据和模型规模的大幅扩展。例如，像GPT-3这样的十亿参数模型已成功用于零/少样本学习，而无需大量的任务特定数据或模型参数更新。与此同时，有5400亿参数的在许多领域展现了先进的能力，包括语言理解、生成、推理和与代码相关的任务。反观视觉领域，诸如CLIP这样的预训练视觉语言模型在不同的下游视觉任务上展现了强大的零样本泛化性能。这些模型通常使用从网络收集的数百上千万图像-文本对进行训练，并提供具有泛化和迁移能力的表示。

如果您也有好的工作想分享给更多的小伙伴，欢迎随时联系，我们将提供一切力所能及的帮助！同时，如果有技术或学术交流需求的同学，也欢迎扫描屏幕下方二维码，添加小编微信。

小目标检测广义是指在图像中检测和识别尺寸较小、面积较小的目标物体。通常来说，小目标的定义取决于具体的应用场景，但一般可以认为小目标是指尺寸小于32×3232×32像素的物体，如下图 COCO 数据集的定义。当然，对于不同的任务和应用，小目标的尺寸和面积要求可能会有所不同。

万字长文带你入门计算机视觉万字长文带你入门目标检测万字长文带你入门语义分割万字长文带你入门增量学习万字长文带你入门Transformer万字长文带你入门变分自编码器万字长文带你入门半监督语义分割一文看尽深度学习中的各种卷积模块一文看尽深度学习中的各种池化方法一文看尽深度学习中的各种数据增强一文看尽深度学习中的各种经典GAN一文看尽深度学习中的各种损失函数一文看尽深度学习中的各种注意力机制一文看尽深度学习中的各种目标检测器。

一方面，这是因为当时的模型需要大量的计算资源来训练，而当时的计算机硬件还无法满足这种需求，不像现在动不动就人均 8 块 V100，更别说 Google、Facebook等巨型公司一言不合直接就给你上集群来个分布式按摩一条龙服务套餐。该网络具备较强的模型表达能力和鲁棒性，可用于手写数字识别，在当时取得了极高的准确率，为视觉任务提供了一种有效的解决方案。重新回顾人工智能大爆发时代的这十年黄金时期，学习这些代表性的工作，温故而知新，希望身为后浪的我们能够站在巨人的肩膀上走的更远。作为深度学习领域的祖师爷，

本文首发至微信公众号：CVHub，不得以任何形式转载或售卖，仅供学习，违者必究！导读随着 AIGC 的火爆出圈，其背后的底层技术——扩散概率模型也逐渐浮出水面。这是一类相比于 GAN 更先进的生成模型，由 Sohl-Dickstein 等人于 2015 年首次提出。然而，真正使其爆火的里程碑工作应该是 DDPM，即去噪扩散概率模型的出现。因为自 DDPM 面世以来，人们对扩散模型产生了浓厚的兴趣，不断有新的工作涌现出来，并成功的扩展到多个领域，包括但不仅限于语音建模、文本到语音、文本到图像以及多变量

一文看尽深度学习中的各种数据增强

现代目标检测故事

关于语义分割的亿点思考

语义分割大盘点