【python深度学习】相似性度量(余弦距离)示例|内积计算torch.mul()|范数计算torch.norm()

最新推荐文章于 2024-06-02 14:32:29 发布

原创

最新推荐文章于 2024-06-02 14:32:29 发布 · 370 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #深度学习 #开发语言

下面一段函数，功能是对输入的特征描述子desc1、desc2做余弦相似度的计算。

def calc_cosine_similarity(desc1, desc2):
    '''
    Input:
        desc1: [B,N,*,C]
        desc2: [B,N,*,C]
    Ret:
        similarity: [B,N,*]
    '''
    
    inner_product = torch.sum(
    							torch.mul(desc1, desc2), dim=

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

steptoward

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

多维欧氏距离余弦相似度余弦距离向量求模（范数）计算 pytorch实现

weixin_39417324的博客

12-16

1611

https://blog.csdn.net/weixin_41811314/article/details/121786787

详解torch.nn.utils.clip_grad_norm_ 的使用与原理

热门推荐

iioSnail的博客

02-08

5万+

文章目录clip_grad_norm_的原理clip_grad_norm_参数的选择（调参）clip_grad_norm_使用演示 clip_grad_norm_的原理本文是对梯度剪裁: torch.nn.utils.clip_grad_norm_()文章的补充。所以可以先参考这篇文章从上面文章可以看到，clip_grad_norm最后就是对所有的梯度乘以一个clip_coef，而且乘的前提是clip_coef一定是小于1的，所以，按照这个情况：clip_grad_norm只解决梯度爆炸问题，不解决

参与评论您还未登录，请先登录后发表或查看评论

Pytorch计算余弦相似度距离——torch.nn.CosineSimilarity函数中的dim参数使用方法

fx714848657的博客

10-18

1万+

Pytorch计算余弦相似度距离——torch.nn.CosineSimilarity函数中的dim参数使用方法

pytorch cuda 欧式距离矩阵运算

My Honor！ My World！

09-19

3389

输入为tensor矩阵向量欧式距离 def get_elu_dis(data): return torch.sqrt((-2*data.mm(data.t()))+torch.sum(torch.square(data),axis=1,keepdim=True)+torch.sum(torch.square(data.t()),axis=0,keepdim=True)) 余玄距离 def get_cos_dis(sentences_vec): sentences_vec = senten

深度学习分类、识别等任务常用的余弦距离和对应的PyTorch代码

我的博客有点东西

11-01

4184

余弦距离常常在人脸识别，图像分类，行人重识别中应用。自从centerNet可视化了softmax loss之后，人们得知神经网络的输出空间原来是呈现原点向外发散状，分类结果是可以通过判断两个样本在输出空间对应的向量之间的夹角来得知是否是同一类样本。这个夹角就是所谓的余弦距离，夹角越小，两个样本越相似。预备的数学知识 cos曲线：比如现在有样本A,B，对应在输出空间的特征向量分别是...

机器学习中的相似性度量

hit_kongquan的专栏

03-25

8607

在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。 　　本文的目的就是对常用的相似性度量作一个总结。 本文目录： 1. 欧氏距离 2. 曼哈顿距离 3. 切比雪夫距离 4. 闵可夫斯基距离 5. 标准化欧氏距离 6

梯度剪裁: torch.nn.utils.clip_grad_norm_()

Mikeyboi的博客

08-08

3万+

目录前言一、原理二、使用方法总结前言当神经网络深度逐渐增加，网络参数量增多的时候，反向传播过程中链式法则里的梯度连乘项数便会增多，更易引起梯度消失和梯度爆炸。对于梯度爆炸问题，解决方法之一便是进行梯度剪裁，即设置一个梯度大小的上限。本文介绍了pytorch中梯度剪裁方法的原理和使用方法。一、原理注：为了防止混淆，本文对神经网络中的参数称为“网络参数”，其他程序相关参数成为“参数”。 pytorch中梯度剪裁方法为 torch.nn.utils.clip_grad_norm_(parameters

torch.nn.utils.clip_grad_norm_ 梯度裁剪

weixin_43118280的博客

04-09

1311

Pytorch 梯度裁剪介绍介绍直接看源代码吧，源代码比较简单 def clip_grad_norm_( parameters: _tensor_or_tensors, max_norm: float, norm_type: float = 2.0, error_if_nonfinite: bool = False) -> torch.Tensor: r"""Clips gradient norm of an iterable of parameters.

def compute_weight(weight, do_power_iteration=True, n_power_iterations=5): weight_mat = weight height = weight_mat.size(0) weight_mat = weight_mat.view(height, -1) u = torch.randn(1, weight_mat.shape[0]).to(device) # move u to GPU for i in range(n_power_iterations): v = torch.mm(u, weight_mat) # [1, n] v = v / torch.norm(v) u = torch.mm(v, weight_mat.T) # [1, m] u = u / torch.norm(u) return torch.mul( (torch.mul(torch.ones(1, weight_mat.shape[0]).to(device), torch.sum(torch.mm(torch.mm(u, weight_mat), v.T)))).T, torch.mm(u.T, v)) 解释这段代码，最后给出代码公式

最新发布

03-20

在返回部分，torch.sum(torch.mm(torch.mm(u, weight_mat), v.T))实际上计算的是u*A*v^T，也就是σ，因为u和v是单位向量，所以σ即为这个内积的值。然后，这个σ被乘以全1的向量（形状与u.T相同），再与u.T和v的外积...

Pytorch相似度计算

永远的小白虾的博客

05-23

1万+

1 余弦相似度余弦相似度是一种我们较为常用的计算向量相似度的方法。下面就是计算余弦相似度的公式： import torch import torch.nn as nn import math class ConineSimilarity(nn.Module): def forward(self, tensor_1,tensor_2): normalized_tensor_1=tensor_1/tensor_1.norm(dim=-1,keepdim=True)

[深度学习]图片相似度计算

weixin_46485607的博客

02-23

4267

"""从指定路径的图像中提取特征"""# 加载图像，调整大小为224x224，VGG16模型要求的输入大小# 将PIL图像转换为numpy数组，并添加一个维度表示批大小# 预处理图像# 通过模型获取图像的特征# 扁平化特征使其成为一维数组# 归一化特征向量以比较它们的相似性。

【DL经典回顾】距离度量大汇总（7-余弦距离(Cosine Distance)）

悦学共鸣，温柔以待，汇聚光芒，共同成长

04-05

2415

余弦距离（Cosine Distance）衡量的是两个向量在方向上的差异性，而不是在大小上的差异。

深度学习pytorch计算cosine距离

weixin_43749213的博客

06-02

534

先对数据进行L2归一化再计算点积就是余弦距离。

Pytorch——余弦相似度、欧式距离(PairwiseDistance,vector_norm,cdist)

Hali_Botebie的博客

05-06

3997

设a,b分别为两个tensor。

[机器学习-概念新] 什么是欧式距离、标准化欧式距离、马氏距离、余弦距离

Harry的博客

01-01

3122

[机器学习-概念] 什么是欧式距离、标准化欧式距离、马氏距离、余弦距离

深度学习之文本相似度Paper总结

小岁月太着急

05-17

8121

Tree-based CNN encoders 注意这里红框内的拼接部分，除了对pp和hh做简单的拼接之外，还做了p−hp−h，p⋅hp⋅h的操作，作者给出的解释是： The latter two are certain measures of “similarity” or “closeness.” 于是最后拼接起来的向量为m=[p;h;p−h;p⋅h]m=[p;h;...

Python科学计算初探——余弦相似度

xiaoxianerqq的专栏

05-06

2317

转自：https://blog.csdn.net/xiaoyw71/article/details/80048316 SciPy是世界上著名的Python开源科学计算库，建立在Numpy之上。它增加的功能包括数值积分、最优化、统计和一些专用函数。例如线性代数、常微分方程数值求解、信号处理、图像处理、稀疏矩阵等等。安装科学计算包SciPy 　　由于SciPy库在Windows下使用pip...

Pytorch比较图片间的相似度。

qq_39007961的博客

09-28

849

使用pytorch实现不同文件夹下的图片相似度比较

深度学习理论方法：相似度计算

lymake的博客

01-14

2080

深度学习理论方法：相似度计算