知乎热问:成为算法工程师的路上,掌握什么技术会感觉自我提升突飞猛进?...

【专业造轮子】:一位大神的编程之路,让我大吃一惊! vczh,本名陈梓瀚,因知乎的个人信息介绍上写有 “专业造轮子”,所以江湖人称 “轮子哥”。 vczh 大学时代就在微软实习,毕业后即加入微软。开始时是在微软上海,后来进入北京的微软亚洲研究院。现已移居美国西雅图,在 Office 组做工程师。 前几天收到网友的邀请参加这个活动,想想好像今年的惯例回顾博客文章没有写,于是干脆就写一遍。本文的前半部分基本截取自4年前的一篇博客文章:进 阅读详情

这个问题我犹豫了很久,三个月前就放草稿箱里了,一直没答的原因是,感觉这些年好像没有什么瞬间让我感觉自己水平突飞猛进,感觉这些年的进步都是慢慢进步的,好像没有「突飞猛进」的时候。昨天带我入行的同事离职了,在部门的送别仪式上,我们回忆起我第一天入职时我那么的「小白」,后来怎么独挡一面。于是我在想,如果要总结一个让我的水平提升的关键「概念」或者「技术」,那会是什么。

于是我回顾这些年的技术历程。说实话,在我开始搞算法后,我日均代码量远远低于我之前做游戏时,甚至有的时候,几天都不写一行代码。当然,我并不能代表所有算法工程师,我虽然也是做数据科学工作,但我需要和客户保持联系,理解需求。但无可否认,代码量少的这些日子,我反而做的事情更靠谱,让我更有成就感。

我于是总结出一句话:解决问题不要于拘泥于技术。

当然,仅仅一句话的话,大家可能看得一头雾水,我展开说说吧。

不要拘泥于技术分为三层:

1. 不要执着于使用最新的技术

有的人想走技术专家的路线,那非常好。每天看看arxiv,看看最新的SOTA,那是一个好习惯。但不要太频繁的变更技术方案。你那种想把产品做到极致的思维,我能理解,我也有过,但你真正做产品落地了,会发现,产品是一个系统,你的技术方案变更可能会对其他模块造成影响。

举个例子,我们的模型是XGBoost,不算很复杂吧?由于我们给多个客户部署过系统,我们知道在什么样的硬件条件下运行时间是多少。例如在每日1万条数据的情况下,我们用AWS的t2.xlarge实例,运行时间是1~2小时,符合客户要求。但如果你看到最新的paper提出了一个新模型,决定要采用的话,除了你的技术方案可行性要得到验证,你的技术方案对系统运行时间的影响也要重新评估。如果你的方案确实效果更好,但服务器成本高出几倍,我们该如何说服客户?这都是是一环扣一环的,实际可能遇到的情况可能比我说的要复杂得多。这,就是系统的世界。

统计建模并不是为了获得完美的预测能力,而是用最小的必要的模型来实现最大的预测能力。

更何况,很多情况下,使用更复杂的方案未必是最合适的方案。我之前写过一个回答,讲了哪些深度学习效果不如传统方法。

在这个回答里,我引用了那个著名的「电风扇吹香皂盒」的段子:

某大企业引进了一条香皂包装生产线,结果发现这条生产线有个缺陷:常常会有盒子里没装入香皂。总不能把空盒子卖给顾客啊,他们只得请了一个学自动化的博士后设计一个方案来分拣空的香皂盒。博士后拉起了一个十几人的科研攻关小组,综合采用了机械、微电子、自动化、X射线探测等技术,花了90万,成功解决了问题。每当生产线上有空香皂盒通过,两旁的探测器会检测到,并且驱动一只机械手把空皂盒推走。中国南方有个乡镇企业也买了同样的生产线,老板发现这个问题后大为发火,找了个小工来说“你他妈给老子把这个搞定,不然你给老子爬走。”小工很快想出了办法他花了190块钱在生产线旁边放了一台大功率电风扇猛吹,于是空皂盒都被吹走了。

但这里需要说明的是,不执着于使用最新技术,不代表不关注最新技术。有的时候,公司的需求是一回事,但我们的技术进步又是一回事,如果我们不care最新技术,那么当我们跳槽时,就会很吃亏。

2. 不要只用技术

技术不是职业生涯的全部,尤其是对于做商业产品的算法工程师。作为算法工程师,尤其是做商业产品的,其实有很多时候,技术并不能解决所有问题;有的时候,技术虽然能解决,但是中策,甚至下策,而上策不一定需要使用技术。代替技术的方法有下面四种,一种比一种境界高。

用金钱代替技术。例如你的产品上线了,发现在线上模型训练总是不成功,发现是服务器性能不够,那么你第一件事是优化你的算法还是花钱扩充服务器?如果对于商业价值很高的项目,宕机一天损失可能远远超过服务器开支,这时候,你第一件事买服务器,优化的工作放到日后。

用沟通代替技术。很多人经常方案进展到一半推到重来的情况(设计师尤甚)。对于算法工程师,如果沟通不充分就直接开工,那么很容易做无用功。举个大家都能理解的例子,例如有个银行让你开发个算法识别哪些客户可能逾期,但由于银行数据敏感,不能直接给你,只给了你data schema让你自己模拟数据,你说没问题,回去花了一周写了个模型,准确率(accuracy)是90%,很不错,结果在客户那一上线,准确率99%,你更高兴了,但很快你发现,客户的数据label 0:1的比例是1:99,你准确率99%和瞎猜没区别。事实上,如果你和客户沟通得当,早点理解清楚数据情况,你就不会采用accuracy这个评价指标。

用管理代替技术。这是区别高阶工程师和普通工程师的重要能力。一个项目,如果管理得当,那么可以让一线开发人员轻松点的同时完成更多工作。

  • 有的工作是另一个工作的基础,完成A再完成B的总时间可能小于先完成B再完成A。

  • 工作是永远做不完的,即使都是技术工作,也有价值不同。好的技术管理人员应该让大家先做价值高的。

用眼光代替技术。做到这个级别,基本就是CTO级别了,充分了解现有技术优缺点,知道什么地方应该投入新技术,什么地方应该采用旧技术,什么地方甚至不需要技术。但毕竟我还没做到这层,这里就没什么经验可以分享了。

更何况,对于算法工程师,除了技术能力,还有很多能力是必须的,如下图,这些能力,组成了算法工程师的「落地能力」。

图来自我之前写的一个被知乎日报收录了的回答。这里就不再重复其内容了。

3. 不要只关注自己领域的技术

抛开非技术的能力,来集中讲讲技术。对于技术能力,你是否以为你关注最新论文,会调参,就完事了。没这么简单。我每次讲算法工程师工作内容时,都会贴这张图:

中间那个小小的几乎都快看不见的黑块,你放大图片,会发现里面写着ML Code,这就是「算法」的部分。当然,别被这个图吓到,这不一定全是你的工作,这里是一个团队的任务,这个团队可能是两人的团队,也可能是几十人的团队,但可以肯定的是,无论你在哪个公司,一个算法工程师都不太可能只做纯「算法」,不要忘了「工程师」三个字。

我作为一个算法工程师,你以为我只写python,偶尔加点scala?不,你可能想不到,我还写vba。我们客户是银行,他们有内部的模型验证团队,我们需要根据他们提供的模板来生成模型性能报表,而且这个报表模板还不能往外网传,那怎么办?只能用VBA写个Excel宏脚本自动生成报表呗呗。毕竟他们提供的可编程环境就只剩excel了,至于python什么的,由于没联网,pip install啥都不行。

所以我建议,作为算法工程师,多学习下周边技术,不要仅仅只会调参,看论文。周边技术是指能为你快速实现验证与部署的技术,并非所有技术都要学习。你作为一个算法工程师,学习linux,可以方便你部署模型;学习spark,能方便你快速处理大数据;这样你有什么新的idea都可以快速验证而不用再求数据工程师帮你反复做ETL。

但,吾生也有涯,而知也无涯。以有涯随无涯,殆已!但你作为算法工程师,去学习安卓app开发,似乎就有点不必要了,除非你确定用得上,或者你是你们公司唯一的程序员(这种情况建议跳槽)。

这是我在自我提升路上的一点总结,希望对大家有所帮助。


觉得还不错就给我一个小小的鼓励吧!


AHB—SRAMC项目(结构图,核心代码、Testbench架构) 文章目录一、AHB_SRAMC项目介绍1.1.AHB总线控制单元(ahb_slv_if.v)1.2.SRAM控制单元(sramc_top.v)1.3.主要的传输路径二、结构框图2.1.AHB_SRAMC结构图(重点)2.2.总线控制单元与SRAM控制单元结构图三、部分核心代码(重点理解)四、SystemVerilog Testbench架构(重点)五、目录结构 一、AHB_SRAMC项目介绍 本项... 阅读详情

相关推荐

基于近场动力学的二维疲劳裂纹扩展模型_近场动力学数值模拟的程序实现(1)——引言...

参考书目W. H. Gerstle. 2015. Introduction to Practical Peridynamic: Computational Solid Mechanics Without Stress and Strain.E.Madenci, A.Barut, M.Dorduncu. Peridynamic Differential Operator for Numerical ...

weixin_39764603的博客 1204

算法工程师之路,何时自觉有突飞猛进的提升?

点击上方“机器学习与生成对抗网络”,关注星标获取有趣、好玩的前沿干货!作者:金瀛若愚,CMU硕士,微软计算机视觉工程师文章编辑 人工智能与算法学习 文仅交流,侵删在科研中训练到的思维方式,...

idol24的博客 607

Nmap的介绍、安装 并进行网络扫描

Nmap概述 Nmap(Network Mapper(网络映射器))是一个网络连接端扫描软件,用来扫描网上电脑开放的网络连接端。确定哪些服务运行在哪些连接端,并且推断计算机运行哪个操作系统(这是亦称 fingerprinting)。它是网络管理员必用的软件之一,以及用以评估网络系统安全。 正如大多数被用于网络安全的工具,nmap 也是不少黑客及骇客(又称脚本小子)爱用的工具 。系统管理员可以利用nmap来探测工作环境中未经批准使用的服务器,但是黑客会利用nmap来搜集目标电脑的网络设定,从而计划攻击的方法。

Cheney ' blog 2万+

【招聘】阿里2022届春招实习生 - 机器学习/NLP/CV等

点击上方,选择星标,每天给你送干货!说个正事哈由于微信平台算法改版,公号内容将不再以时间排序展示,如果大家想第一时间看到我们的推送,强烈建议星标我们和给我们多点点【在看】。星标具体步骤为:...

zenRRan的博客 430

advanced installer 打包Flutter的Windows程序安装包(基本打包、开机自启、定时自动检测升级、包含卸载程序)

advanced installer 打包Flutter的Windows程序安装包(基本打包、开机自启、定时自动检测升级、包含卸载程序)

qq_45634989的博客 2883

疾病负担研究(GBD)——如何使用joinpoint软件计算AAPC

疾病负担研究(GBD)——如何使用joinpoint软件计算AAPC

weixin_44240228的博客 1万+

如何成为一名合格的算法工程师?我们做了一次技能拆分…

文 / 张相於 成为一名合格的开发工程师不是一件简单的事情,需要掌握从开发到调试到优化等一系列能力,这些能力中的每一项掌握起来都需要足够的努力和经验。而要成为一名合格的机器学习算法工程师(以下简称算法工程师)更是难上加难,因为在掌握工程师的通用技能以外,还需要掌握一张不算小的机器学习算法知识网络。 下面我们就将成为一名合格的算法工程师所需的技能进行拆分

AI科技大本营 4040

基于聚类特征工程的水果销量预测:聚类算法对比与多模型评估

水果销量预测研究:聚类分群与多模型对比 摘要 本研究提出了一种融合聚类分析与机器学习的水果销量预测方法。基于包含12个维度的销售数据集,首先采用K-Means、BIRCH和DBSCAN三种聚类算法对水果品类进行分群,通过轮廓系数等指标评估显示BIRCH算法表现最优(0.387)。随后针对不同群组构建差异化特征工程,并比较XGBoost、LightGBM和LSTM三种预测模型性能。实验结果表明:基于聚类特征工程的LightGBM模型预测效果最佳(RMSE=2.34,R²=0.87).

huanghm88的专栏 139

在做算法工程师的道路上,你掌握了什么概念或技术使你感觉自我提升突飞猛进?...

链接:https://www.zhihu.com/question/436874654编辑:深度学习与计算机视觉声明:仅做学术分享,侵删对偶问题:在做程序员的道路上,你掌握了什么概念或技...

深度学习与计算机视觉 324

UG NX二次开发(C++)-库缺少需要的入口点的原因与解决方案

在UG NX二次开发过程中,有时会遇到形形色色的bug,比如有个读者其采用UG NX二次开发(C++)时,遇到“库缺少需要的入口点”这个问题,看了一下他发给我的源代码,感觉有必要讲一下UG NX二次开发(C++)遇到此类问题的可能情况与解决方法。自然,这是博主的经验之谈,有不足之处还请在评论区讨论。

GimiGimmy 2204

基于 51 单片机的智能手势控制小车设计与实现

智能手势控制小车以STC89C52RC 单片机为控制核心,通过手势识别模块采集用户手势指令,经单片机处理后驱动电机执行前进、后退、左转、右转等动作。该项目融合了传感器技术、单片机编程和电机驱动技术,具有成本低、易实现、互动性强的特点,适合作为嵌入式系统入门实践案例。本项目成功实现了基于 51 单片机的智能手势控制小车,通过 APDS-9960 模块采集手势信号,经单片机处理后驱动电机完成基本动作,验证了 “传感器 + 单片机 + 执行器” 的嵌入式系统设计思路。

weixin_42300449的博客 180

运维工程师的出路在哪里?

最近看到一个热门话题:运维工程师的出路在哪里?这个话题以前也被讨论过,疫情后时代即将步入第六年的时候,再次被拿出来继续讨论,可以看出大家对运维工程师出路的迷茫与焦虑。这几年中美对抗加码升级,经济预期持续向下,行业生存环境急剧变化。大家都有一种感觉现在事是越来越难干了,钱是越来越难赚了。“活下去”成为悬在头顶的达摩克之剑,降本增效成为不得不使用的开源节流手段。出了事故运维背锅,不出事故老板又觉得运维没有用处。

喜欢Python编程的程序员柚柚呀 1050

走向审计4.0:内部审计数字化转型的路径与方法

企业的内部审计人员可以以数字化为手段,建立内部审计新生态,在数字化过程中引进战略审计、服务审计、开放审计、敏捷审计、数字审计、智慧审计等理念、方法和工具,完成数智生态审计转型。内部审计的审计对象远比国家审计和公众审计丰富和多元化,理论上企业经营管理和日常操作的各个方面都可以成为内部审计的对象,此外还可以开展独立咨询活动。由于内部审计的数字化或数字化的内部审计是实现审计数字化转型的必要条件,是实现“数字引领、数据强审”目标的核心手段,因此企业内部审计部门势必要投入足够的资金和人才来打造一支数字化审计新队伍。

一键难忘的博客 6737

逻辑性不好可以学python吗_如何自学好python,为什么总感觉学不好。?

谢邀市场上需要的Python人员非常多,而且按照现在的势头,以后会需要更多的Python开发人员,理由是以后每个人公司都会有自己的网站,有自己的开发部,对于用户体验看的非常重要。所以Python程序员就会很吃香。随时时间的推移,企业对于Python开发者的要求也在不断提高,互联网公司注重效率,所以不会培养新人,所以想要从事Python开发,就要从开始靠我们自己学到技术,以后的竞争会越来越激烈。优胜...

weixin_39715907的博客 175

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

程序员进阶攻略:从技术纵深到系统思维,实现认知跃迁

在软件工程领域,技术深度与系统思维是开发者从执行者迈向工程师的关键。理解核心原理,如数据库索引的B+树数据结构与磁盘IO优化机制,是构建扎实知识体系的基础。这种对原理的深入探究,其技术价值在于能支撑起稳定、可扩展的系统架构,并在高并发场景下做出合理的权衡决策。例如,在电商库存扣减等典型应用场景中,开发者需要在性能与一致性之间进行取舍,这正是系统思维的体现。本文结合《程序员进阶攻略》的精华,探讨如何通过构建知识网络、深入源码分析(如Redis)、掌握架构权衡艺术,最终将认知升级落地为高质量的工程实践,完成从“

weixin_34406086的博客 450

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

【杂谈】从学员到参与书籍写作,我在有三AI学习与成长的故事

初识有三认识言有三大人物,是在苏州的某分享会上,在深圳这头的我通过直播窗口第一次知道“言有三”及有三AI公众号,加了有三的微信,当时忙于写毕业论文,并没有主动接触这位大佬,但是在食堂排位...

hacker_long的专栏 598

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

运维越干越迷茫?35 岁前必看的 3 条破局出路!

在这个时期,运维主要依赖人工操作,比如手动安装 Windows Server、Linux(如 Redhat、CentOS、SUSE 等)操作系统,手动安装 Sybase、SQL Server、MySQL、Postgres 等数据库,手动安装配置 JDK 和 Tomcat 中间件,手动配置并发布应用。累死自己,卷死同行。从不同薪资的岗位要求,可以看出,越高的薪资对运维工程师的能力要求自然就更高。从更高薪资的岗位职责和要求,也许我们可以找到运维工程师的发展方向和路线,寻找我们的出路,从而远离焦虑、恐惧和内耗。

2401_84760527的博客 934

腾讯面试官:看了 1000多份简历后,想给找工作的程序员几点建议 | 面试必看干货

序言 本文主要介绍校招,上半年疫情原因真正面试的时间和机会也不多,尽管我已经面试超过1000位应届生,批改过超过几百份份笔试的试卷,因为通过率较低,我也被同事吐槽许多次让我“手下留情”。今天我就想聊一聊,我自己的面试标准。这不是一篇什么攻略文,旨在抛砖引玉,大家一起探讨如何面试更有效率。 需要写在前面的是,“平等“和”高效”一直都是互斥的。信息从一个人传递到另一个人那里,由于表达能力和接收能力的限制,必然产生信息熵,所以花一天的时间好好了解一个人的技术实力和学习能力,自然要比一场半小时的面试要更加的全面。但

公众号:【伤心的辣条】 492

学python好就业吗-人人学Python,为什么就业拿高薪的那么少?

Python语言相关的岗位非常多,有运维,有自动化测试,有后端开发,有机器学习,人工智能,python无所不能。市场上需要的Python人员非常多,而且按照现在的势头,以后会需要更多的Python开发人员,理由是以后每个人公司都会有自己的网站,有自己的开发部,对于用户体验看的非常重要。所以Python程序员就会很吃香。随时时间的推移,企业对于Python开发者的要求也在不断提高,互联网公司注重效率...

weixin_37988176的博客 193

23-25年总结——不再迷茫且全力具身:个人变为技术研究者,公司则先后经历大模型开发、具身开发

文章摘要: 作者回顾2023-2025年公司转型历程:2023年因ChatGPT兴起从教育转向科技公司,开发十余个大模型应用;2024年受斯坦福机器人研究启发进军具身智能领域;2025年在长沙组建团队,取得机械臂和人形机器人研发突破(如自主抓取、VR遥操、大模型交互等)。作者提出衡量个人/公司价值的标准是对社会的贡献程度,并强调通过具身智能造福千万人的愿景。文中详细记录了长沙团队在6-9月的技术突破时间表,展现快速迭代的研发能力。

结构之法 算法之道 7684

为什么你总觉得大佬的时间比你多几倍呢?

五年前,看《十三邀》,采访罗振宇那一期,第一次看到,一种完全不同的生活方式,“40岁是这样的一个时间,会导致你对时间的感知力不同”,“人生苦短,来不及了,休息一天就意味着可能无法达到自己能够达到的高点”,我还记得当时的状态,边吃外卖,边想,居然有人对时间如此焦虑,为什么我完全没有这种感觉?

YanXbei的博客 436

表妹靠副业实现月收入过W,只有你想不到,没有Python做不到

我有一个表妹如今在事业单位工作,就是事少离家近的工作,收入也很稳定,家人都觉得这个工作很好很稳定,但她最近却总是找我吐苦水:我觉得我活不下去了…… 纳尼?! “你不知道,我工资每个月就三千多一点,要还房贷,要养娃,生活压力太大了,晋升无门,工资也不涨,唉~” “我最近的身体也感觉不好,心力交瘁,整个人都处在焦虑之中……缺钱,真的缺钱啊。 “昨天我妈又来电话,说我爸生病进医院了,又是好大一笔开销,可又不能不治病。” “别想太多了,一切都会好起来的。”我本来想劝她看开点,但最后发现都是些无关痛痒的话。 副业推荐

m0_59162248的博客 294

python工资这么高为什么不学-人人学Python,为什么就业拿高薪的那么少?

Python语言相关的岗位非常多,有运维,有自动化测试,有后端开发,有机器学习,人工智能,python无所不能。市场上需要的Python人员非常多,而且按照现在的势头,以后会需要更多的Python开发人员,理由是以后每个人公司都会有自己的网站,有自己的开发部,对于用户体验看的非常重要。所以Python程序员就会很吃香。随时时间的推移,企业对于Python开发者的要求也在不断提高,互联网公司注重效率...

q6q6q的专栏 296

人人学 Python,为什么拿高薪的那么少?

Python语言相关的岗位非常多,有运维,有自动化测试,有后端开发,有机器学习,人工智能,python无所不能。市场上需要的Python人员非常多,而且按照现在的势头,以后会需要更多的Python开发人员,理由是以后每个人公司都会有自己的网站,有自己的开发部,对于用户体验看的非常重要。所以Python程序员就会很吃香。随时时间的推移,企业对于Python开发者的要求也在不断提高,互联网公司注重效率,所以不会培养新人,所以想要从事Python开发,就要从开始靠我们自己学到技术,以后的竞争会越来越激烈。

libaiup的博客 123
上一篇: 哪个省份的学子是熬夜冠军?一定不是河南。
下一篇: 新编辑神器,可以在终端运行 Jupyter Notebook 了!
Wang_AI
博客等级 码龄12年 997粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值