模型训练与范数L2归一化----图像检索---有疑问的？

最新推荐文章于 2024-01-27 22:07:35 发布
最新推荐文章于 2024-01-27 22:07:35 发布
阅读量1.1k 收藏 6
点赞数 3
CC 4.0 BY-SA版权
分类专栏： pytorch 图像检索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_37721058/article/details/97777153
本文介绍了L2范数归一化在模型训练和图像检索中的应用，强调了它能提升测试效果，防止梯度消失和爆炸，并在正则化、归一化和标准化之间进行了区分。L2范数归一化使得欧式距离和余弦相似度等价，方便处理聚类问题。同时，文章讨论了训练中何时使用L2范数归一化对模型收敛速度的影响，提出了一种可能需要深入研究的现象：不使用归一化可能使模型更快收敛。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

当最后的结果，使用了下面的方法后，测试的效果得到了明显的提升。质量的飞跃啊！！！！

glo = glo.view(glo.size(0),-1)
#print('glosize2',glo.shape)
x=glo
#x = torch.cat((glo,ocr),dim = 1,out = None)
x_norm = x.norm(p=2, dim=1, keepdim=True) + 1e-8
x = x.div(x_norm)

第一个是概念区分：归一化、正则化、标准化的区别

归一化是为了消除不同数据之间的量纲，方便数据比较和共同处理，比如在神经网络中，归一化可以加快训练网络的收敛性；

标准化是为了方便数据的下一步处理，而进行的数据缩放等变换，并不是为了方便与其他数据一同处理或比较，比如数据经过零-均值标准化后，更利于使用标准正态分布的性质，进行处理；

正则化而是利用先验知识，在处理过程中引入正则化因子(regulator)，增加引导约束的作用，比如在逻辑回归中使用正则化，可有效降低过拟合的现象。

https://blog.youkuaiyun.com/power0405hf/article/details/53456162
https://blog.youkuaiyun.com/u011092188/article/details/78174804 这篇更加清晰

在这里插入图片描述

第二补充：BN层的作用：

最低0.47元/天 解锁文章

200万优质内容无限畅学
自然语言处理之文本摘要：TF-IDF算法原理与应用
zhubeibei168的博客
06-01 547
自动提取或生成文档的关键信息，形成简洁的摘要。词频（Term Frequency, TF）是衡量一个词在文档中出现的频率。TFtdftd∑t′∈dft′dTFtd∑t′∈d​ft′d​ftd​​其中，ftdf_{t,d}ftd​表示词ttt在文档ddd中出现的次数，∑t′∈dft′d∑t′∈d​ft′d​表示文档ddd中所有词的出现次数总和。
【人脸识别】L2_Softmax Loss详解
Roaddd的博客
03-05 1874
论文题目：《L2-constrained Softmax Loss for Discriminative Face Verification》 论文地址：https://arxiv.org/pdf/1703.09507.pdf 1. 简介        CNN近年来取得了很大的成功，人脸识别也受益匪浅。人脸识别的一个基准包括一个序列网络和一个Softmax标准。在这篇论文中，作者分析了Softmax损失的一些劣势，然后提出一种基于约束条件
L2范数归一化概念和优势
weixin_30610755的博客
07-13 1406
1 归一化处理 归一化是一种数理统计中常用的数据预处理手段，在机器学习中归一化通常将数据向量每个维度的数据映射到(0,1)或(-1,1)之间的区间或者将数据向量的某个范数映射为1，归一化好处有两个： (1) 消除数据单位的影响：其一可以将有单位的数据转为无单位的标准数据，如成年人的身高150-200cm、成年人体重50-90Kg，身高的单位是厘米而体重的单位是...
pytorch求范数&归一化
judgechen1997的博客
10-17 6767
除以L1 L2范数 max值 归一化 a = torch.ones((2,3)) #建立tensor a2 = torch.norm(a) #默认求2范数 a1 = torch.norm(a,p=1) #指定求1范数 instance normal 大概是对每一个channel归一化到均值0，方差略大于1 ...
[Deep Learning] 正则化
weixin_34355559的博客
06-30 319
在总结正则化（Regularization）之前，我们先谈一谈正则化是什么，为什么要正则化。 个人认为正则化这个字眼有点太过抽象和宽泛，其实正则化的本质很简单，就是对某一问题加以先验的限制或约束以达到某种特定目的的一种手段或操作。在算法中使用正则化的目的是防止模型出现过拟合。一提到正则化，很多同学可能马上会想到常用的L1范数和L2范数，在汇总之前，我们先看下LP范数是什么鬼。 LP范数 范数...
记录之tensorflow和pytorch中的取范数归一化操作
qq_41368074的博客
01-16 1143
最近在将tensorflow翻译成torch的时候遇到了一个问题，就是有一个函数 tf.nn.l2_normalize没有找到相应的替换函数，无奈自己手写了一个这样的操作，最近在阅读令一个torch源码时发现了，就及时记录 tf： import tensorflow as tf tf.nn.l2_normalize(x, dim, epsilon=1e-12, name=None) 参数： x：输入； dim：为l2范化的维数 epsilon：范化的最小值边界 torch： import.
pytorch 2范数归一化的表示
qq_33824968的博客
09-22 5166
def l2_norm(input, axit=1): norm = torch.norm(input,2,axit,True) output = torch.div(input, norm) return output # 这里假设input.shape = (2, 10) 最后得到的结果是每一行得到的每个值平方和为1 self.kernel.data.unifor...
SIFT_using_java.rar_java sift_sift_sift java_sift-java
09-14
5. **描述子规范化**：为了提高描述子的鲁棒性，通常会进行L2范数归一化，确保每个描述子向量的长度为1。 在Java实现SIFT算法时，可能涉及以下技术： - **OpenCV Java API**：OpenCV是一个跨平台的计算机视觉库，...
视频行为识别检测综述 IDT TSN CNN-LSTM C3D CDC R-C3D
热门推荐
万有文的博客
06-20 14万+
本文github地址 Video Analysis之Action Recognition(行为识别) 行为识别就是对时域预先分割好的序列判定其所属行为动作的类型，即“读懂行为”。 [行为检测|论文解读]行为检测调研综述 较新 基于Deep Learning 的视频识别技术 科研成果—-中国科学院深圳先进技术研究院 面向人体姿态行为理解的深度学习方法 CVPR 2014 Tut...
pytorch-metric-learning度量学习工具官方文档翻译
最新发布
胖胖大海的博客
01-27 2214
损失函数可以使用距离、规约方法和正则化方法来进行定制化。在下面的图表中，miner在批量中找到难训练的样本对的索引，这些索引被索引到距离矩阵。
L2归一化
weixin_45727237的博客
04-23 5902
如果不对描述符（向量）进行归一化，两张图片中对应苹果的描述符之间的欧几里得距离可能会很大，导致它们被错误地认为是不同的物体。L2归一化可以将向量的模长缩放到相同的大小，即转换为在单位球面上的向量，这样每个向量在距离度量中的作用是相等的，，使得不同向量更具有可比性！L2范数：向量中每个元素的平方和的平方根，即∥x∥₂=√(x₁²+x₂²+...+xᵢ²)，其中i表示向量的维数。L1范数：向量中每个元素的绝对值之和，即∥x∥₁=|x₁|+|x₂|+...+|xᵢ|。，其中x是一个向量。
pytorch 归一化与反归一化实例
09-18
今天小编就为大家分享一篇pytorch 归一化与反归一化实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch学习笔记（8）：正则化（L1、L2、Dropout）与归一化（BN、LN、IN、GN）
路人贾的博客
03-02 6419
Pytorch学习笔记（8）：正则化（L1、L2、Dropout）与归一化（BN、LN、IN、GN）超级详细！
tensorsor快速获取所有变量，和快速计算L2范数
MachineLP的专栏
11-02 2502
可以指定要的变量和计算的L2范数。 for var in tf.trainable_variables(): print (var) print (var.get_shape()) print (sess.run(tf.nn.l2_loss(var))) for var in tf.trainable_variables():
pytorch 归一化 测试（BatchNorm2d）
jacke121的专栏
10-15 4599
importtorch import torch.nn as nn m = nn.BatchNorm2d(2,affine=True) #权重w和偏重将被使用 input = torch.randn(1,2,3,4) output = m(input) print("输入图片：") print(input) print("归一化权重：") print(m.weight) print("归...
torch.norm的理解
qiao_qiao_de_feng_le的博客
02-15 1360
torch.norm的理解 原创 ...
pytorch底层
weixin_42693876的博客
08-28 1706
1、L2normalize：L2归一化：将一组数变成0-1之间。pytorch调用的函数是F.normalize。一般池化后会有一层l2norm层。 # l2norm 的实现如下 x = torch.tensor([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) norm = x.pow(p).sum(1, keepdim=True).pow(1./ p) # l2norm p=2 print(norm) out = x.div(norm) print(out) 2、torch的几
Pytorch转TensorRT中的坑
yangjf91的博客
03-26 2万+
  Pytorch转ONNX再转TensorRT，其中遇到一些转的时候会出现的层需要修改的问题，这里对修改的层做一些总结。 reshape   Pytorch中会有很多需要reshape的操作，可用的算子有： reshape view flatten   前两个都是需要指定reshape后完整的尺寸大小，因此使用中需要先获取输入数据的维度，这个在Pytorch框架下使用没有问题，但用到Tens...
MLM之CLIP：CLIP(对比语言-图像预训练模型)的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-16 5448
​ MLM之CLIP：CLIP的简介、安装和使用方法、案例应用之详细攻略 目录 相关文章 CLIP的简介 CLIP的安装和使用方法 CLIP的案例应用 相关文章 《Learning Transferable Visual Models From Natural Language Supervision》翻译与解读 地址 论文地址：https://arxiv.org/abs/2103.00020 时间 2021 年 2 月 26 日 作者 OpenAI 总结 CLIP的
Pytorch：正则化（L1、L2、Dropout）与归一化（BN、LN、IN、GN）
weixin_47255403的博客
12-10 1879
这次内容首先是正则化，正则化是一种缓解模型的过拟合问题的策略，我们学习了L2正则的原理，L1正则和L2正则的区别，然后学习了L2正则等价于权重衰减。 然后又学习了Dropout正则化，并且对比了一下L2正则和Dropout正则的效果。 第二部分是标准化，这主要是解决网络层输出的数据尺度变化不一致的问题， 首先学习了Batch Normalization，学习了它的原理和具体的使用方法，然后又介绍了其他三种标准化方法， LayerNorm Normalization、Instance Normalizati
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值