算法岗平时需要自己写cuda吗?

CUDA 入门指南:从零开始掌握 GPU 并行计算 掌握 CUDA 如同获得打开异构计算世界的钥匙。在 AI 计算需求每 3.5 个月翻倍的今天,GPU 编程能力已成为高级开发者的核心竞争力。立即动手实践,用代码释放 GPU 的洪荒之力!欢迎在评论区留言讨论你在 CUDA 开发中遇到的挑战或经验分享! 阅读详情

链接:https://www.zhihu.com/question/436008648

编辑:深度学习与计算机视觉

声明:仅做学术分享,侵删

工业界里面numba用的多吗,还是说工业界主要还是直接写cuda?

作者:Chan Yu
https://www.zhihu.com/question/436008648/answer/1649590705

先放结论:基本上不需要,但是是很好的加分项!

纯算法岗的话接触CUDA一般是需要实现一些非常规算子来满足一些试验性质的算法尝试。

而大部分自定义算子无论是tensorflow还是pytorch都可以通过现阶段丰富的基本算子库来workaround。

再不济就是利用动态图的性质由numpy、py_func等实现然后手动定义反向梯度函数。

这里相对更重要的反而是算法工程师定义反传的能力。虽然不是什么特别难的工作,但不少算法岗的同学可能也没仔细思考过最基础的矩阵乘法怎么定义grad,或者不清楚tensorflow或者pytorch的autograd机制而导致无从下手。

然后提到CUDA最大的关心点必然是性能。无论是速度还是显存都有可能通过CUDA开发来过得极大的提升,一般体现在访存效率、数据结构设计、算子融合等技巧上。事实上从个人经验来说,有时候自己实现的算子库跑模型很容易比native的tensorflow快两到三倍,如果是一些特殊情况,十几甚至极限情况上百倍也有可能。并且合理的设计比起生硬的用原生算子能够大大减少显存开销,这对于训练和推理都是有极大益处的。

但是,CUDA开发有些不小的成本,特别是对于算法研究,灵活性非常重要。可能要短时间里尝试很多种不同的自定义算子,这时候堆机器能解决的话一般先不急着进行深层次的优化,而且在整个网络结构确定下来之前,很难进行最终的优化。除非有特别高频使用的算子,优化前后的差距非常明显(比如对整体的影响5倍左右,无论是显存还是速度)才可以考虑进行个别算子的优化。万一一通CUDA操作下来,模型效果提升不明显,最终的时间/人力成本不一定划算。我更倾向于尽量先验证算法再进行优化。

此外,涉及到这么深层次的研究,并且CUDA优化非常必要的情况,一般公司都会有专门的HPC组或者团队接手了,或者可能就该思考为什么通用的算子不能满足需求。

再说下CUDA开发的成本。C/CPP本身的编写和调试难度就不提了,CUDA C基本就是小半个新语言,Debug逻辑也是全新的。如果为了极限性能进行魔改然后遇到一些非法的显存访问更是头疼,不过现在各类nv的可视化调试工具出来了应该体验会好很多。一些初入坑的同学可能会觉得把算子换成cudnn api就好了,但其实很多时候性能瓶颈是来自于访存效率,这往往意味着需要写新的kernal来融合算子,亲自掌控显存/缓存的管理。工作量特别是调试上会比想象的大很多。如果只是简单换下cudnn,很可能反而增大了潜在的数据拷贝开销导致性能变差。这里面的各方面经验需要长时间的积累,要不就交给专业的团队做,要不就自己长时间保持这方面的学习实践。基本上不会作为一个算法工程师的必备素质。

但是如果拥有这样的视野对于算法工程师来说是非常好的,即使没有用到,平时也能在设计模型时保持从性能和效率的角度思考问题,而不是局限于模型效果。工业界对于成本是非常看重的。

作者:DLing
https://www.zhihu.com/question/436008648/answer/1746022828

默认cv岗哈!

一般工作中用不到手撸cuda,但这位大神却时时刻刻在我们身边,每天在各种三方库中都能够见到,就是不大会直接去调用cuda函数。但是如果遇到性能瓶颈了,可能就得请cuda大神出场了。

比如,现在要优化模型推理性能,剪枝,蒸馏,量化一大通操作下来,模型纯推理时间由30ms降到15ms,性能翻倍,感觉不错,但是一看数据预处理,耗时10ms,模型后处理耗时15ms,算下来处理数据花的时间比我模型推理花的时间还要长。这时候,cuda大神就可以上场了,我们把预处理和后处理搬到cuda上,一测,预处理,后处理共5ms就搞定了。这时候,报告一写,模型推理时间55ms降低到20ms,领导看后一顿夸,心里美滋滋,升职加薪不是梦。

再比如,最近模型指标一直上不去,看着三年前的老模型,一脸嫌弃,感觉是时候拥抱新模型了。然后各种顶会,博客看下来,找到了个三个月前刚发表的新论文,华丽的辞藻,sota的指标让你按捺不住,想赶快把它用在自己的工程中,结果github上没找到开源代码。这时候,cuda大神又可以上场了,熬几个通宵,把论文中跳动的字符转换成cuda实现的美丽算子,然后模型一训,数据一测,指标提了3个点,老板看后又一顿夸,心里又美滋滋,升职加薪又不是梦。

cuda的作用很多,水也很深,一般做cv方向手撸cuda的机会还真不多,但是真的用上的时候,大概率是用来解决重大问题的时候。多了解了解,用的6确实可以算是自己很大的加分项。

作者:知乎用户
https://www.zhihu.com/question/436008648/answer/1683251210

95%的算法岗都不需要。

真实的故事:我同事,再来英伟达前申请的G社,二轮电话面试被刷。原因是不能熟练的撸一个b树被刷。该同事的背景是当时德国某校Assistant Professor,出版两本CUDA和并行编程书,可以熟练撸PTX。当时人家还跟G社争吵说可以提供性能相当的二叉树CUDA实现,被拒绝并说不需要。

我只能说,前世界上95%的算法和码农岗位都不需要你能够GPU编程,刷好题比这些都重要。

当然了,前一阵G社回来反挖失败那就是另一回事了。

评论圈有人说既然选了G社,就应该知道需要刷题,这属于准备不善。确实,我同事后来也是这么说的,当时根本就没有准备刷题,因为本身也没准备去做码农,抱着试试看的心理去了。

至于这类数据结构和算法轮子,大家千万不要认为用不到刷的题属于无用功。其实即便是用pytorch写炼丹算法还是要注意这些的。比如什么情况会造成新分配内存啊,何时内存会被copy啊,等等。轮子的基础越深,最后的车的舒适度,性能也越好,这是肯定的。

作者:知乎用户 https://www.zhihu.com/question/436008648/answer/1651056548

这个是基本功,逃不掉的。

当研究员的话,总会碰到现有op无法组合出新提出的算法的情况,有的时候可以强行组合但效率非常低,也是需要自己写的。

当工程师的话,为了提高模型速度,会写cuda,甚至会优化cuda都是必备技能。

作者:haichuan
https://www.zhihu.com/question/436008648/answer/1768209276

非深度学习的cv需要的。深度学习有通用的框架,各家大厂都有做自己的框架,例如腾讯的TNN。但是传统的计算机视觉没有这种框架,也没有所谓的神经网络,算法种类多种多样,也不可能有人帮你开发推理框架。

为了提升效率,需要在gpu上跑数据的,算法也是自己写的,通常效率估计比不上专门写框架的人,但是至少比在CPU上快好多倍。

☆ END ☆

CUDA学习笔记之程序优化 CUDA程序优化CUDA程序优化应该考虑的点:精度:只在关键步骤使用双精度,其他部分仍然使用单精度浮点以获得指令吞吐量和精度的平衡;           延迟:需要首先缓冲一部分数据,缓冲的大小应该可以保证每个内核程序处理的一批数据能够让GPU慢负荷工作;           计算量:计算量太小的程序使用CUDA很不合算;当需要计算的问题的计算密集度很低的时候,执行计算的时间远远比 阅读详情

相关推荐

CUDA 并行加速基础之 Reduce 和 Scan 的实现

前言 我们知道硬件拥有其独特的并行性,为了发挥这一特色。我们要将平时串行执行的程序用并行性算法重新改写才能充分发挥 GPU 的优势。 实例:做求和:1+2+3+4+··· 为了做这样一个累加和的加速,有两种简单的实现方法,分别是 Redece 进行归约(二分),或者是用 Scan 通过控制步长进行扫描求和。 Reduce 如上图所示为了并行执行累加,我们要构造出一些线程,每个线程并行工作,从...

学渣的博客 3306

转载一篇从知乎看到比较好的文章(cuda笔记)

CUDA一些小知识整理 之前写过一篇《CUDA C Programming Guide》(《CUDA C 编程指南》)导读,整理了一下基础的知识,但没有真正实践过 最近由于工作需要使用到CUDA,因此需要再看一些书和博文,补一些知识。现将这些知识陈列在这里。 参考内容: CUDA 基础知识博客整理 CUDA错误码打印 char* cudaGetErrorString(cudaErro...

m0_38036750的博客 2408

解决‘GLIBC_2.28 not found‘错误:手把手教你升级glibc到最新版(附中文乱码修复)

本文提供了一份详尽的Linux系统glibc升级实战指南,旨在解决常见的'GLIBC_2.28 not found'错误。文章不仅涵盖从风险评估、环境准备到编译安装的完整流程,还特别加入了精简本地化数据以修复中文乱码的实用技巧,帮助管理员和开发者在安全可控的前提下完成系统核心库的升级。

a1b2c3d的博客 1347

那些年CUDA编程那些事(一)

详解CUDA的第一个例程一、概述二、简单结构描述三、标准例子四、参考 一、概述 使用CUDA编程的目的:在普通的加速手段(SIMD指令、C++多线程、OpenMP等)无法满足实际需求时,使用CUDA对算法运行的进行加速,以满足系统的实时性要求。 举个例子:立体匹配算法、深度学习训练与测试、三维重建等。 硬件需求:可以在官网上查到支持CUDA的显卡,以及显卡的运算能力。 二、简单结构描述 以下是Host(CPU)和Device(可以称为CUDA或GPU)的简单数据流过程。 Grid是最外面的一层,称为

落叶知秋了哟的博客 1541

图形学常见概念小结

前言:本文记录《unity shader入门精要》和openGL相关学习过程中一些学习要点; 文章目录PBR流程渲染管线细分着色器的底层实现,应用原理常见的色调映射算法openGl和Direct X的区别PBR流程和URP渲染管线Camera loop(剔除)MVP矩阵变换光线追踪前向渲染和延迟渲染shader和材质的区别bloom原理后处理的理解高斯模糊实现原理图像处理中的边缘检测算子 PBR流程 小结:一套基于自然界微平面理论、能量守恒、菲涅尔反射、线性空间等的科学理论所实现的基于物理的渲染系统,包含一

小谁的博客 1165

IBM x3650M4服务器更换主板后,导入原有硬盘阵列信息

x3650m4服务器主板坏了,更换好的主板,需要导入原来硬盘的里面的阵列信息 1、开机有提示信息,按C导入配置 2、按Y继续 3、点击start进入阵列卡配置 4、选择configurations 1,点击preview 5、预览硬盘的阵列信息,点击import导入 6、导入成功,可以查看到阵列信息 7、重启服务器,进入操作系统 如果重启找不到操作系统,重启按f12,手动选择从onboard sas controller启动,进入系统一次后面重启就会自动找到并引导系统了。 8、有时候导入阵列

zds00virtue的博客 2万+

深入浅出谈CUDA

CUDA 是 NVIDIA 的 GPGPU 模型,它使用 C 语言为基础,可以直接以大多数人熟悉的 C 语言,写出在显示芯片上执行的程序,而不需要去学习特定的显示芯片的指令或是特殊的结构。” CUDA是什么?能吃吗? 编者注:NVIDIA的GeFoce 8800GTX发布后,它的通用计算架构CUDA经过一年多的推广后,现在已经在有相当多的论文发表,在商业应用软件等方面也初步出现了视频编

he21he21的专栏 2316

电源完整性分析:PDN阻抗与去耦电容设计——目标阻抗计算与电容选型深度实战

摘要:随着嵌入式处理器主频突破 GHz、多核架构普及,电源完整性(Power Integrity, PI)已成为高速 PCB 设计中不可忽视的关键环节。本文从 PDN(电源分配网络)阻抗模型出发,系统讲解目标阻抗计算方法、去耦电容选型策略、反谐振抑制技术,并结合 STM32F4 核心板的完整设计实例,提供一套可落地的电源完整性工程实践方案。电源完整性设计是一项系统工程,需要从目标阻抗计算电容选型反谐振抑制PCB 布局目标阻抗是设计的起点,由电源电压、纹波要求和瞬态电流决定去耦电容。

从事移动开发八年,csdn博客专家,阿里云特邀专家,华为云云享专家,高级网络信息安全工程师,大数据工程师(高级),python技术开发(高级),HarmonyOS 应用开发者高级认证,现在某学校任教。 1万+

【知乎热议】算法岗平时需要自己写cuda吗?

链接:https://www.zhihu.com/question/436008648声明:仅做学术分享,侵删工业界里面numba用的多吗,还是说工业界主要还是直接写cuda?作者:Cha...

深度学习技术前沿 1422

内容创作全流程自动化:OpenClaw+大模型搞定选题+写稿+多平台发布

本文介绍了一套基于OpenClaw的全自动化内容创作流水线方案,帮助垂直领域创作者摆脱重复劳动。该方案将内容生产拆解为选题生成、内容撰写、格式适配、多平台发布四个模块,通过工作流引擎串联执行。系统能自动采集热榜生成选题、调用大模型撰写结构化内容、适配不同平台格式要求,并通过API+浏览器自动化实现多平台发布,全程只需人工最终审核。作者分享了各模块的实现细节,包括热榜采集、内容结构化生成、Markdown转换和发布策略,并提供了工作流编排方法。这套方案能为创作者每天节省约3小时,同时保证内容质量和发布效率。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 50

OpenClaw人人养虾:接入Synology Chat

Synology Chat 是群晖 NAS(Network Attached Storage,网络附属存储)内置的即时通讯应用。

王国平的博客 781

#算法岗 vs 应用岗 vs Agent岗:薪资、门槛、学习成本对比,2026 该走哪条路?

算法岗:聚焦模型训练与优化(微调、推理加速等),要求硕士以上学历,理论门槛高,顶薪可达百万,适合数学基础好且能深耕论文的科班人才。 应用岗:侧重模型业务落地(如RAG系统、API对接),本科为主,岗位量多且门槛较低,薪资中规中矩(3-5年经验约2.5-4万/月),适合快速就业的工程型人才。 Agent岗:负责智能体任务规划与工具调用(如LangGraph、多智能体协同),技能综合且新兴,薪资跨度大(应届12k起,资深可达百万)适合技术全面热衷探索的开发者。算法岗重学术应用岗重实践Agent岗重综合能力与创新

2301_80370251的博客 786

PY32F406K1CU6 FLASH模拟EEPROM

摘要:本文介绍了基于STM32 FLASH模拟EEPROM的实现方法。头文件flash.h定义了FLASH页大小(256字节)、用户存储区域(4页)及地址范围,提供了等待周期配置和地址校验宏,声明了EEPROM初始化、读写操作等函数接口。源文件flash.c实现了具体功能:配置FLASH等待周期(144MHz需3WS)、页读写擦除操作,以及EEPROM初始化(解锁-擦除-验证-锁定)和缓冲区读写功能。其中写操作采用"读页→更新→擦除→编程"的流程,确保数据安全写入。该方案适用于需要非易失

sam的博客 196

写CUDA到底难在哪?

链接:https://www.zhihu.com/question/437131193编辑:深度学习与计算机视觉声明:仅做学术分享,侵删作者:知乎用户https://www.zhihu....

深度学习与计算机视觉 1436

多模态论文笔记——CogVLM和CogVLM2

本文详细介绍LoRA版本的多模态模型——CogVLM和CogVLM2。在SD3中使用其作为captioner基准模型的原因和优势。

haopinglianlian的博客 2205

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

腾讯大模型算法岗面试全复盘与备战指南

大模型技术作为AI领域的重要突破,其核心Transformer架构通过自注意力机制实现了长距离依赖建模。在工程实践中,需要掌握分布式训练框架(如Megatron-LM、DeepSpeed)和GPU优化技术(如FlashAttention)来应对千亿参数规模的挑战。面试重点考察从理论推导(如Layer Normalization数学证明)到系统设计(如千卡集群训练)的全栈能力,特别是对最新变体(RetNet、Mamba)和RLHF流程的理解。准备过程中需结合《The Annotated Transformer

weixin_29057695的博客 356

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Package | 解决 Windows10 Anaconda环境 CUDA11.5 pytorch运行报错 No CUDA runtime is found

. 背景 在windows下使用anaconda管理多个环境(尤其用于模型训练),已成为算法工程师的一种基本技能。平时大部分时间都在用linux+docker,我也趁着这次的环境调试好好学习了一下anaconda的环境创建和管理。整体来说,anaconda的使用还是非常人性化的,具体官网请转至 all you need know about anaconda. . 环境配置 如标题所示,实验的系统环境是windows 10,系统中已安装最新的CUDA v11.5。 conda环境为python 3.7,并使

iLOVEJohnny的博客 1万+

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Ubuntu20.04安装CUDA cuDNN 以及对应的pytorch

安装 CUDA cudnn 详细教学

baobao135的博客 1万+

大模型算法岗面试攻略:从基础到实战

大模型技术作为AI领域的重要突破,其核心在于Transformer架构和分布式训练技术。理解多头注意力机制、参数微调方法(如LoRA和DPO)以及模型量化技术(如GPTQ)是掌握大模型开发的基础。这些技术不仅提升了模型性能,还在推荐系统、客服机器人等场景中展现出巨大价值。面对激烈的岗位竞争,候选人需要构建系统化的知识体系,包括数学基础、工程实践和业务洞察力。通过复现经典模型(如GPT-2)和参与实际项目(如金融文本分析),可以积累宝贵的面试素材。当前大模型算法岗尤其看重部署优化和效能监控能力,掌握vLLM等

weixin_30784501的博客 435

CUDA学习笔记(LESSON3)——GPU基本算法(Part I)

CUDA系列笔记 CUDA学习笔记(LESSON1/2)——架构、通信模式与GPU硬件 CUDA学习笔记(LESSON3)——GPU基本算法(Part I) CUDA学习笔记(LESSON4)——GPU基本算法(Part II) CUDA学习笔记(LESSON5)——GPU优化 CUDA学习笔记(LESSON7)——常用优化策略&动态并行化 GPU基本算法(Part I) 步...

shanwenkang的博客 2513

智谱多模态大模型算法岗面试全解析

多模态大模型是AI领域的前沿技术,结合计算机视觉与自然语言处理,通过深度学习框架实现跨模态信息融合。其核心原理包括特征对齐、注意力机制和损失函数优化,技术价值体现在提升模型理解复杂场景的能力。在工程实践中,需掌握分布式训练、模型微调(如LoRA)和推理优化(如动态批处理)等关键技术,广泛应用于智能客服、内容生成等场景。智谱面试特别注重候选人的实战能力,考察多模态基础理论、大模型微调及工程部署等维度,要求结合具体项目案例进行技术阐述。面试流程高效紧凑,涉及技术面、算法作业和终面等环节,对候选人的技术深度和工程

weixin_28235513的博客 325

CUDA程序优化[转]

本文章转载自优快云,原博客地址http://blog.youkuaiyun.com/ouczoe/article/details/5137063 CUDA程序优化 CUDA程序优化应该考虑的点: 精度:只在关键步骤使用双精度,其他部分仍然使用单精度浮点以获得指令吞吐量和精度的平衡; 延迟:需要首先缓冲一部分数据,缓冲的大小应该可以保证每个内核程序处理的一批数据能够让G...

181

CUDA驱动问题汇总:TensorFlow GPU安装避坑指南

深度学习项目中GPU无法识别或显存溢出,往往源于CUDA生态版本错配。从驱动、CUDA到cuDNN,每个环节都需精准匹配。本文详解调用链路、常见错误及排查方法,帮助开发者系统性解决TensorFlow GPU配置难题,实现高效稳定训练。

weixin_36149538的博客 917
上一篇: 如何透彻理解卷积的数据原理与机制:从抛球实验说起
下一篇: 机器学习的通俗讲解!
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值