torch.cdist高效计算大矩阵相似度

问题定义

现有矩阵 A ∈ R N × C , B ∈ R M × C A\in R^{N\times C}, B\in R^{M\times C} ARN×C,BRM×C,需要计算矩阵 A A A B B B的相似度(欧式距离)矩阵 S ∈ R N × M S\in R^{N\times M} SRN×M N N N M M M很大。可以使用pytorch提供的torch.cdist方法,记得使用GPU计算。

import torch

N, M, C = 20000, 50000, 128
A = torch.rand((N, C)).cuda()
B = torch.rand((M, C)).cuda()

S = torch.cdist(A, B, p=2)
print(S.shape)

详细解释一下这段代码,每一句都要进行注解:def get_image_pairs_shortlist(fnames, sim_th = 0.6, # should be strict min_pairs = 20, exhaustive_if_less = 20, device=torch.device('cpu')): num_imgs = len(fnames) if num_imgs <= exhaustive_if_less: return get_img_pairs_exhaustive(fnames) model = timm.create_model('tf_efficientnet_b7', checkpoint_path='/kaggle/input/tf-efficientnet/pytorch/tf-efficientnet-b7/1/tf_efficientnet_b7_ra-6c08e654.pth') model.eval() descs = get_global_desc(fnames, model, device=device) #这段代码使用 PyTorch 中的 torch.cdist 函数计算两个矩阵之间的距离,其中参数 descs 是一个矩阵,表示一个数据集中的所有样本的特征向量。函数将计算两个矩阵的 p 范数距离,即对于矩阵 A 和 B,其 p 范数距离为: #dist_{i,j} = ||A_i - B_j||_p #其中 i 和 j 分别表示矩阵 A 和 B 中的第 i 和 j 行,||.||_p 表示 p 范数。函数的返回值是一个矩阵,表示所有样本之间的距离。 # detach() 和 cpu() 方法是为了将计算结果从 GPU 转移到 CPU 上,并将其转换为 NumPy 数组。最终的结果将会是一个 NumPy 数组。 dm = torch.cdist(descs, descs, p=2).detach().cpu().numpy() # removing half mask = dm <= sim_th total = 0 matching_list = [] ar = np.arange(num_imgs) already_there_set = [] for st_idx in range(num_imgs-1): mask_idx = mask[st_idx] to_match = ar[mask_idx] if len(to_match) < min_pairs: to_match = np.argsort(dm[st_idx])[:min_pairs] for idx in to_match: if st_idx == idx: continue if dm[st_idx, idx] < 1000: matching_list.append(tuple(sorted((st_idx, idx.item())))) total+=1 matching_list = sorted(list(set(matching_list))) return matching_list
06-01
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值