最新PyTorch包!快速可微,配有自定义C ++和CUDA,性能更好

如何设置 TORCH_CUDA_ARCH_LIST 环境变量以优化 PyTorch 性能 本文将指导你如何确定你的 GPU 的 CUDA 架构能力,并设置相应的环境变量。这个列表告诉 PyTorch 你的 GPU 支持的 CUDA 版本,以便正确编译和优化 PyTorch 代码。设置好环境变量后,你就可以开始构建针对特定 CUDA 架构优化的 PyTorch 版本了。这将返回一个元组,包含两个整数,分别代表你的 GPU 支持的 CUDA 架构的主版本号和次版本号。首先,你需要知道你的 GPU 支持的 CUDA 计算能力。一旦你知道了你的 GPU 的 CUDA 架构能力,你就可以设置。 阅读详情

仅作学术分享,不代表本公众号立场,侵权联系删除

转载于:机器之心

有人将快速可微分排序算法打包实现,性能还不错。

谷歌去年年初在论文《Fast Differentiable Sorting and Ranking》中,重磅推出了首个具有 O(nlogn) 时间复杂度、O(n) 空间复杂度可微分排序算法,速度比现有方法快出一个数量级!

近日,有人在 GitHub 上开源了一个项目,通过软件包的形式实现了快速可微分排序和排名,上线几天,收获 300 + 星。

  • 项目地址:https://github.com/teddykoker/torchsort

  • 《Fast Differentiable Sorting and Ranking》论文地址:https://arxiv.org/pdf/2002.08871.pdf

Torchsort

Torchsort 实现了 Blondel 等人提出的快速可微分排序和排名(Fast Differentiable Sorting and Ranking),是基于纯 PyTorch 实现的。大部分代码是在项目「google-research/fast-soft-sort」中的原始 Numpy 实现复制而来,并配有自定义 C ++ 和 CUDA 内核以实现快速性能。

Torchsort 安装方式非常简单,采用常用的 pip 安装即可,安装代码如下:

pip install torchsort

如果你想构建 CUDA 扩展,你需要安装 CUDA 工具链。如果你想在没有 CUDA 运行环境中构建如 docker 的应用,在安装前需要导出环境变量「TORCH_CUDA_ARCH_LIST="Pascal;Volta;Turing"」。

使用方法

torchsort 有两个函数:soft_rank 和 soft_sort,每个函数都有参数 regularization (l2 或 kl) (正则化函数)和 regularization_strength(标量值)。每个都将对二维张量的最后一个维度进行排序,准确率取决于正则化强度:

import torch
import torchsort
x = torch.tensor([[8, 0, 5, 3, 2, 1, 6, 7, 9]])
torchsort.soft_sort(x, regularization_strength=1.0)
# tensor([[0.5556, 1.5556, 2.5556, 3.5556, 4.5556, 5.5556, 6.5556, 7.5556, 8.5556]])
torchsort.soft_sort(x, regularization_strength=0.1)
# tensor([[-0., 1., 2., 3., 5., 6., 7., 8., 9.]])
torchsort.soft_rank(x)
# tensor([[8., 1., 5., 4., 3., 2., 6., 7., 9.]])

这两个操作都是完全可微的,在 CPU 或 GPU 的实现方式如下:

x = torch.tensor([[8., 0., 5., 3., 2., 1., 6., 7., 9.]], requires_grad=True).cuda()
y = torchsort.soft_sort(x)
torch.autograd.grad(y[0, 0], x)
# (tensor([[0.1111, 0.1111, 0.1111, 0.1111, 0.1111, 0.1111, 0.1111, 0.1111, 0.1111]],
#         device='cuda:0'),)

示例展示

斯皮尔曼等级系数是用于测量两个变量之间单调相关性的非常有用的指标。我们可以使用 Torchsort 来创建可微的斯皮尔曼等级系数函数,以便可以直接针对该指标优化模型:

import torch
import torchsort


def spearmanr(pred, target, **kw):
    pred = torchsort.soft_rank(pred, **kw)
    target = torchsort.soft_rank(target, **kw)
    pred = pred - pred.mean()
    pred = pred / pred.norm()
    target = target - target.mean()
    target = target / target.norm()
    return (pred * target).sum()


pred = torch.tensor([[1., 2., 3., 4., 5.]], requires_grad=True)
target = torch.tensor([[5., 6., 7., 8., 7.]])
spearman = spearmanr(pred, target)
# tensor(0.8321)
torch.autograd.grad(spearman, pred)
# (tensor([[-5.5470e-02,  2.9802e-09,  5.5470e-02,  1.1094e-01, -1.1094e-01]]),)

基准

torchsort 和 fast_soft_sort 这两个操作的时间复杂度为 O(n log n),与内置 torch.sort 相比,每个操作都具有一些额外的开销。Numba JIT 的批处理大小为 1(请参见左图),fast_soft_sort 的前向传递与 Torchsort CPU 内核的性能大致相同,但是其后向传递仍然依赖于某些 Python 代码,这极大地降低了其性能。

此外,torchsort 内核支持批处理,随着批处理大小的增加,会产生比 fast_soft_sort 更好的性能。

torchsort CUDA 内核在序列长度低于 2000 时表现出色,并且可以扩展到非常大的 batch。在未来,CUDA 内核可能会进一步优化,以达到接近内置的 torch.sort 的性能。

end

Flash Attention安装全指南:CUDA、PyTorch与GPU架构三重校验 Flash Attention是一种基于分块重计算的高效注意力机制,通过优化显存访问模式将注意力计算复杂度从O(N²)降至O(N√N),广泛应用于大模型训练加速。其核心价值在于显著降低显存占用并提升吞吐性能,但因依赖CUDA内核现场编译,对GPU计算能力(Compute Capability)、CUDA Toolkit版本及PyTorch构建ABI三者严格耦合。常见报错如'no kernel image is available'或'undefined symbol',本质是SM架构不匹配、nvcc编译目标 阅读详情

相关推荐

GPU计算入门:从核心原理到PyTorch环境搭建与性能优化实战

并行计算是一种通过同时执行多个计算任务来提升处理效率的计算范式,其核心原理在于将大规模问题分解为多个可同时处理的子任务。在硬件层面,GPU凭借其数千个计算核心的SIMD架构,成为实现大规模并行计算的理想平台,尤其擅长处理矩阵运算等高度重复的计算密集型任务。这一技术价值在于能带来数十至数百倍的性能提升,彻底改变了深度学习、科学计算和高性能渲染等领域的工作流。应用场景广泛覆盖从AI模型训练、大语言模型微调到计算流体力学模拟。本文将深入解析GPU的软硬件栈,包括流式多处理器、CUDA核心、内存层次结构以及PyTo

WGH100817的博客 331

GPU 计算能力(Compute Capability)那些事儿 以及 编译caffe/pytorch/tensorflow时怎样设置计算能力?

适合gpu入门同学,大牛出门左拐 一、常见gpu卡计算能力查询 https://developer.nvidia.com/cuda-gpus#compute 部分gpu计算能力: 二、计算能力是什么东东 计算能力(Compute Capability)并不是指gpu的计算性能 nvidia发明计算能力这个概念是为了标识设备的核心架构、gpu硬件支持的功能和指令,因此计算能力也被称为“SM version"。 计算能力包括主要修订号X和次要修订号Y来表示。 具有相同主版本号的设备具有相同的核心架构,例如:

wohenibdxt的博客 1万+

PointNet++复现实战:从环境配置到模型训练的全流程避坑指南

3D点云处理是计算机视觉与机器人感知领域的核心技术,其核心挑战在于如何高效处理无序、非结构化的三维点集。深度学习模型通过直接学习点云的几何特征,实现了从分类、分割到目标检测等多种任务。PointNet++作为该领域的经典奠基性工作,通过引入层次化特征学习和局部特征聚合机制,显著提升了模型对点云局部结构的感知能力,为解决自动驾驶环境感知、机器人抓取规划、三维重建等实际问题提供了强大的技术支撑。本文聚焦于PointNet++的实践复现,详细拆解了环境配置、数据准备与模型训练三大核心环节。针对**环境配置**中棘

weixin_33978044的博客 625

【问题记录】如何查找服务器的 cuda 环境变量 TORCH_CUDA_ARCH_LIST

编译时间:当你从源代码编译PyTorch或其他依赖CUDA的库时,指定特定的CUDA架构可以减少编译时间。默认情况下,库可能会为所有支持的CUDA架构生成二进制代码,这可能需要相当长的时间。如果你只指定自己实际使用的那些架构,就可以节省大量时间。磁盘空间:预编译的二进制文件可能会占用大量磁盘空间。通过限制要支持的CUDA架构数量,可以减少这些文件所需的存储空间。运行性能:在某些情况下(尤其是在使用老旧GPU时),为特定架构优化过的代码可能比通用代码运行得更快。在安装环境的时候可以使用。

呆呆的猫的博客 6728

PointNet++复现全攻略:从环境搭建到模型训练与结果分析

点云是三维空间中一组离散点的集合,是表示三维物体和场景的重要数据形式。其无序性和非结构化的特点,使得传统的卷积神经网络难以直接处理。PointNet系列网络通过对称函数和分层特征学习,巧妙地解决了点云的置换不变性问题,奠定了深度学习处理点云的基础。这一技术为自动驾驶、机器人导航、增强现实等需要三维感知的领域提供了核心解决方案。在众多点云处理架构中,PointNet++通过引入分层特征提取和局部区域聚合,显著提升了模型对局部几何结构的感知能力,成为点云分类与分割任务的经典基准。本文将围绕PointNet++的

weixin_34198762的博客 416

从GPU架构到CUDA编程实战:掌握并行计算核心与性能优化

并行计算是现代高性能计算的核心技术,它通过同时执行多个计算任务来大幅提升处理效率。其原理基于将大规模问题分解为可同时处理的子任务,利用多核处理器或众核架构实现加速。这一技术价值在于突破了传统串行计算的性能瓶颈,为人工智能、科学模拟和大数据分析等领域提供了关键算力支撑。应用场景广泛覆盖深度学习训练、图像渲染、流体力学仿真等数据密集型任务。本文聚焦GPU并行计算,深入解析其硬件架构中的流多处理器(SM)和线程束(Warp)调度机制,并详细探讨通过共享内存优化和合并访问策略提升CUDA程序性能的工程实践方法,帮助

weixin_34032792的博客 310

win10 上安装nvm

1. 下载安装包 github上下载最新版本https://github.com/coreybutler/nvm-windows/releases 解压nvm-setup.zip 2.安装 双击安装exe,选择安装的路径,因为路径中如果有空格会导致无法使用,因此我在D盘目录下创建的文件夹:D:\nvm\nodejs 安装时:nvm路径选择: D:\nvm node路径选择:D:\nvm\nodejs 3.验证: (1)环境变量:我的电脑->属性->高级系统设置->...

BePowerful的博客 1992

解决PyTorch C++扩展编译错误:Ninja构建工具安装与配置指南

在Python高性能计算领域,C++扩展编译是提升程序执行效率的关键技术。其原理在于通过Python的C API将C++编写的核心计算模块编译为动态链接库,供Python解释器调用,从而兼顾开发效率与运行性能。这一技术为深度学习框架(如PyTorch、TensorFlow)和科学计算库(如NumPy)提供了底层性能保障。在工程实践中,构建系统(Build System)负责管理这一编译流程,而Ninja作为一款专注于速度的现代化构建工具,因其极致的编译速度和可靠的增量编译机制,被PyTorch等项目的C++

weixin_30635053的博客 398

自定义 C ++和 CUDA 扩展

PyTorch 提供了与神经网络,任意张量代数,数据整理和其他目的有关的大量操作。但是,您仍然可能会发现自己需要更多的自定义操作。例如,您可能想使用论文中发现的新颖的激活功能,或者实现您在研究过程中开发的操作。在 PyTorch 中集成这样的自定义操作的最简单方法是通过扩展概述的Function和Module在 Python 中编写它。这为您提供了自动区分的全部功能(使您不必编写派生函数)以及 Python 的通常表达能力。但是,有时您的操作可以用 C ++更好地实现。

yanglamei1962的博客 439

SAM模型TensorRT部署实战:从PyTorch到C++推理的性能优化

深度学习模型部署是AI工程化落地的关键环节,其核心在于将训练好的模型高效、稳定地运行在实际硬件上。TensorRT作为NVIDIA推出的高性能推理优化器,通过计算图优化、层融合、内核自动调优以及FP16/INT8量化等技术,能显著提升模型在GPU上的推理速度与资源利用率。在计算机视觉领域,图像分割模型如Segment Anything Model(SAM)因其强大的零样本泛化能力备受关注,但其复杂的ViT+CNN混合结构对部署效率提出了挑战。通过将PyTorch模型转换为ONNX中间格式,再利用Tensor

chubaisheng8627的博客 379

ptranking:在PyTorch中学习排名

介绍 这个开源项目称为PTRanking (在PyTorch中学习排名),旨在提供基于PyTorch的典型的按等级学习方法的可扩展和可扩展的实现。 一方面,该项目可以对多个基准数据集进行统一比较,从而可以深入了解以前的学习排名方法。 另一方面,该项目使开发和合并新提出的模型变得容易,从而扩展了等级学习技术的领域。 主要特点: 许多具有代表性的学习排名模型,不仅包括通过经验风险最小化的传统优化框架,还包括对抗性优化框架 支持广泛使用的基准数据集。 同时,还支持以指定比例随机掩盖真实标签 支持不同的指标,例如Precision,MAP,nDCG和nERR 高度可配置的功能,用于微调超参数,例如,对特定模型的超参数进行网格搜索 提供易于使用的API,以开发新的按等级学习模型 请参考以获取更多详细信息。

WSL 2 CUDA环境配置全攻略:从驱动安装到PyTorch实战

CUDA是NVIDIA推出的并行计算平台和编程模型,其核心原理在于利用GPU的众核架构进行大规模数据并行处理,从而显著加速计算密集型任务。这一技术为深度学习、科学计算和高性能计算等领域带来了革命性的性能提升。在Windows系统上,通过Windows Subsystem for Linux 2(WSL 2)实现GPU直通,开发者可以在熟悉的Windows界面下,无缝调用Linux环境中的CUDA进行加速计算,极大地优化了跨平台开发体验。本文将聚焦于解决WSL 2中常见的“nvidia-smi no devi

weixin_30394669的博客 354

torchsort:在PyTorch中进行快速,可区分的排序和排名

火炬排序 在PyTorch中进行快速,可区分的排序和排名。 纯PyTorch实现(Blondel等人)。 大部分代码是从的原始Numpy实现复制而来的,等渗回归求解器被重写为PyTorch C ++和CUDA扩展。 安装 pip install torchsort 要构建CUDA扩展,您将需要安装CUDA工具链。 如果要在没有CUDA运行时的环境中构建(例如docker),则需要在安装之前导出环境变量TORCH_CUDA_ARCH_LIST="Pascal;Volta;Turing" 。 用法 torchsort公开了两个函数: soft_rank和soft_sort ,每个函数都有参数regularization ( "l2"或"kl" )和regularization_strength (标量值)。 每个人都将对二维张量的最后一个维度进行排序/排序,其准确性取决于正则化强度:

CUDA-Learn-Notes 项目教程

CUDA-Learn-Notes 项目教程 1. 项目介绍 CUDA-Learn-Notes 是一个专注于 CUDA/C++ 编程的学习笔记和教程项目。该项目由 DefTruth 维护,旨在帮助开发者深入理解 CUDA 编程模型,并通过实际案例和代码示例来提升 CUDA 编程技能。项目内容涵盖了从基础的 CUDA 编程概念到高级的优化技术,包括但不限于矩阵乘法(GEMM)、向量加法(GEMV)、w...

gitblog_00854的博客 895

怎么用phpstudy制作网站

随着实践的深入,你会逐渐掌握更多高级技巧和技术,让你的网站变得更加完善和吸引人。现在你已经成功设置了你的本地Web服务器环境,接下来我们将指导你如何利用这个环境来创建一个简单的PHP网页项目。为了使网站更加动态且功能丰富,我们需要学会如何让PHP脚本与MySQL数据库交互。为了让网站看起来更专业美观,可以考虑引入CSS样式表来定制网页布局及视觉效果。当你对本地开发的网站感到满意后,下一步就是将其发布到互联网上供他人访问了。让我们进一步扩展我们的网站,加入一个简单的用户注册与登录系统。

2401_87999399的博客 6577

双卡RTX 3090实战:基于vLLM高效部署Qwen2.5-14B BF16大模型的完整指南

本文提供了在双卡RTX 3090上使用vLLM推理框架高效部署Qwen2.5-14B BF16大模型的完整实战指南。内容涵盖硬件配置、系统环境准备、vLLM核心原理与安装、模型获取、详细部署步骤(包括脚本启动与API服务),以及性能调优与避坑技巧,旨在帮助开发者充分利用硬件性能,实现稳定、高速的本地大模型推理服务。

yy01234的博客 1513

Pytorch模型部署之-------cudatoolkit介绍

文章目录显卡,显卡驱动,nvcc, cuda driver,cudatoolkit,cudnn区别?GPU型号含义CUDA名称含义CUDAcudnnCUDA Toolkit`nvcc`&`nvidia-smi``nvcc``nvidia-smi``nvcc`和`nvidia-smi`显示的CUDA版本不同?runtime和driver API区别Linux中PATH、 LIBRARY_PATH、 LD_LIBRARY_PATH的区别PATHLIBRARY_PATH和LD_LIBRARY_PATH多版

ahelloyou的博客 1万+

LabVIEW机器视觉通用软件

LabVIEW 通用视觉一款仿C模式的思想与方法 全网最精简零基础+通用视觉全套视频教程 只想把LabVIEW当作一种兴趣,结果却当成了职业 http://t.elecfans.com/c1181.html 本次(开源 )针对有一定视觉基础或项目开发经验的工程师量身打造视觉通用性系统(完全仿面向对象的原理),相对于一般的非标框架更具功能性,有效的解决复杂项目开发过程中的思路瓶颈。 LabVIEW通用视觉系统:通用软件可快速解决大部分简单的视觉开发项目,帮助众多软件工程师解决在非标视觉软件开发中的繁琐过程问

qq_21516871的博客 4611

C++ CUDA开发实战:从环境搭建到向量加法性能优化

并行计算通过同时执行多个计算任务来提升处理效率,其核心原理是将大规模问题分解为可同时处理的子任务。在GPU加速领域,这一技术价值尤为显著,能够将计算密集型工作负载从CPU卸载到拥有数千核心的GPU上,实现数十至上百倍的性能提升。CUDA作为NVIDIA推出的并行计算平台和编程模型,允许开发者使用扩展的C++语法直接操控GPU进行通用计算,广泛应用于深度学习训练、科学模拟和大数据处理等场景。本文聚焦于C++ CUDA开发的实战入门,详细解析了环境配置中的常见问题与解决方案,并深入探讨了线程层次结构和内存模型等

weixin_30940783的博客 289

打穿内网之Vulntarget-a靶场实战记录

内容包括:通达OA未授权上传+文件包含RCE、Redis未授权写马、ms17-010永恒之蓝、代理转发内网跳板、CVE-2020-1472 域控杀器Zerologon、wmiexec/smbexec横向移动、cobalt strike与msf的shell传递

tpaer的博客 3034

深入解析基于Fluent的蒸发冷凝相变UDF程序及其在重力热管液体蒸发冷凝变化计算中的应用

ANSYS Fluent是一款功能强大的CFD软件,广泛应用于流体流动、传热、化学反应和多相流等领域的数值模拟。Fluent提供了丰富的物理模型和求解器,支持用户自定义函数(UDF)以扩展其功能,实现更为复杂和特定的模拟需求。UDF是用C语言编写的程序,允许用户在Fluent中自定义物理模型、边界条件、源项等,以实现特定的模拟需求。在处理复杂的相变过程、非均匀物性参数或特定的热传导机制时,UDF提供了极大的灵活性和扩展性。

qq_38334677的博客 1266

fft函数图像横坐标是什么_PyTorch1.7发布:新增API包括FFT ,分布式训练开始支持Windows...

PyTorch 1.7版本包括许多新的API,包括对与NumPy兼容的FFT操作的支持,性能分析工具以及对基于分布式数据并行(DDP)和基于远程过程调用(RPC)的分布式训练的重大更新。此外,一些功能已经稳定下来,包括自定义C ++类,内存分析器,自定义张量对象的创建,RPC中的用户异步功能以及torch中的许多其他功能。例如Per-RPC超时,DDP动态存储和RRef助手。亮点包括:CUDA 1...

weixin_35427369的博客 126

Python 爬虫教程:美食网站 + 社交平台餐馆评论抓取(评分提取 + 情感分析)

在当今数字化时代,数据无处不在,而爬虫技术则是获取数据的强大工具之一。无论是市场调研、学术研究还是个人兴趣探索,爬虫都能帮助我们从海量的网络信息中提取有价值的数据。本文将通过一个实战案例,带领大家学习如何使用 Python 爬虫技术抓取美食网站和社交平台上的餐馆评论,并进行评分提取与情感分析。通过这个项目,你将掌握爬虫的基本原理、数据解析、以及如何结合情感分析技术来挖掘数据背后的洞察。

u014481728的博客 312

PyTorch C++部署中梯度计算优化:五大实战技巧提升性能与稳定性

在深度学习模型部署中,梯度计算是训练和微调的核心环节,其原理基于自动微分构建动态计算图以追踪张量操作。高效管理梯度计算对生产环境至关重要,直接影响内存占用、计算效率和系统稳定性。通过优化梯度计算,可以显著提升模型推理和在线学习的性能,尤其在C++部署场景下,需要精细控制计算图生命周期和内存管理。本文聚焦PyTorch C++前端(LibTorch)的梯度计算优化,针对内存泄漏和计算冗余等常见问题,结合**计算图生命周期**和**梯度缓存管理**等热词,提供从原理到实践的解决方案,涵盖推理与训练模式切换、算子

cuanji3287的博客 326

【2025软考高级架构师】论文篇——4、论可靠性系统中软件容错技术的应用

软件容错技术对软件的稳定性起着至关重要的作用,尤其是针对互联网性质的软件并发高存在流量峰值等问题,软件容错技术的应用的重要性就不言而喻了。经过这次我所采用的软件容错技术的方法和措施的实施效果后,使我也看到了自己身上的不足之处,我会在今后的架构设计过程中,不断更新自己的知识,不断完善自己的架构设计领域,设计出更好的软件架构,更好的支撑业务平台的运行,提高公司的竞争力,为公司为社会尽一份绵薄之力。

qq837993702的博客 621

Codex 实战 Skills:如何用 Skill 让 AI 模拟人工点击,自动完成复杂的前端表单测试

本文介绍如何构建基于Selenium WebDriver的AI Agent技能,实现自动化UI测试流程。主要内容包括: 环境搭建:配置无头Chrome浏览器环境,使用WebDriver Manager自动管理驱动 核心技能开发:通过ID、CSS Selector、XPath等策略定位元素,实现显式等待机制 交互模拟:使用ActionChains模拟鼠标悬停等复杂操作 稳定性优化:解决异步加载问题,确保测试可靠性 Skill封装:将功能模块化,使AI能通过自然语言指令操作Web界面 该方案突破了传统自动化测试

yueyeguzhuo的专栏 150
上一篇: 深度学习概述
下一篇: 中国已消失的九所世界级大学
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值