机器学习常用特征相似度或距离度量【Pytorch实现】

最新推荐文章于 2025-03-21 11:44:18 发布

原创

最新推荐文章于 2025-03-21 11:44:18 发布 · 1.9k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #深度学习 #机器学习 #度量学习 #特征度量

本文介绍了如何在PyTorch中计算特征向量的余弦相似度、不同范数（F范数、L1和L∞）以及KL散度，包括针对三维矩阵的扩展方法。通过实例演示了这些技术在深度学习中的应用和计算步骤。

余弦相似度、特征距离、KL散度计算

import torch

feat1 = torch.randn((3, 4))
feat2 = torch.randn((3, 4))

# ==========cosine相似度===============
a_norm = torch.linalg.norm(feat1, dim=1)
b_norm = torch.linalg.norm(feat2, dim=1)
cos = ((feat1 * feat2).sum(dim=(-2, -1)) / (a_norm * b_norm)).mean()
cos = 0.5 * cos + 0.5   # [-1, 1]  --> [0, 1]

# ==========矩阵范数===============
lfro = torch.linalg.norm(feat1 - feat2, dim=-1).mean()	# F范数
l1 = torch