我们可以一起来聊聊算法工程师当前选哪个方向好?

算法的主流研究方向以及分类方法 本人算是初学者开始学算法,本着磨刀不误砍柴工的理念,个人觉得算法的入门首先就是要弄清楚现在算法的主流研究方向和算法的主要分类方法,对基础性的概念弄清楚可以给后期的学习打下坚实的基础。人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。AI算法可使计算机从以前的结果中学习并获得信息的更新,而无需人工干预。简单地向其馈送大量结构化数据以完成任务,而无需编程如何执行此任务。 阅读详情

链接:https://www.zhihu.com/question/398876586

编辑:深度学习与计算机视觉

声明:仅做学术分享,侵删

当前2020年 ,从社会需求,工资待遇,未来发展方面讲,算法工程师哪个方向好?1,计算机视觉;2,自然语言处理;3,风控;4,推荐系统?

作者:Yan Chi
https://www.zhihu.com/question/398876586/answer/1348837580

今年跳槽到某银行,看到很多答主都在说风控可以把银行作为后路,我就抛砖引玉,讲一下银行业里对CV NLP  风控 推荐这四个领域的应用情况吧。

先说风控。银行的风控在模型层面不会太复杂,lr是最主流的,用得相对复杂一点的就是xgboost,绝绝绝大部分时候不会上深度学习的模型。在运行层面上,部分风控模型对时效要求非常高,实时交易风控模型一般都是50ms之内就要出结果,这一方面就决定了不可能上特别复杂的模型,另一方面,模型外面必定会套一层兜底规则,以应对模型超时的问题。

在模型的建模和分析层面,风控模型会特别注重PSI,KS,AUC,LIFT,GINI等指标,还会对每个变量的重要性,偏移等进行非常细致的分析,非常强调可解释性。因此风控主要还是结合业务场景做数据分析和特征工程这一块,还有一个非常重要但是很多做机器学习出身的人鄙视的,就是强业务规则,其实很多场景强业务规则if else就已经解决了一大部分问题了。现在不少业务规则还是先用数据分析的各类方法跑出来一些结果,然后手工把这些结果配进规则引擎里运行的。

另外, 虽然模型可能是python写的,但是结果分析与模型检验很多时候还是基于SAS来做的…至于这边用的一些新技术,主要还是基于图的一些算法,近一两年来也是逐步在落地在类似信用卡套现团伙侦测等场景。

再说推荐。当你打开银行的APP时,一堆眼花缭乱的弹窗、活动栏位就是银行的推荐系统推的东西了。这一块在大行或者股份制银行里面的都是有推荐系统在后面支撑的,其实近年来这一块倒是逐渐脱离手工化,一般手工只配兜底规则,不配/少配具体的栏位了。而用上机器学习的场景,模型也是推荐系统常见的例如非深度学习用GBDT+LR,深度学习用deepFM之类的模型,相对而言与互联网的工业界在模型层面还不那么落后。

不过问题在于,虽然银行一般都会有一定的数据基础(至于数据脏不脏另计)可以用于推荐系统的模型食粮,但银行APP的核心还是转账交易与账单查询,推荐系统做的东西还不是银行APP的核心功能。换句话说,如果今日头条和抖音没了推荐系统在背后支撑,那这两款产品就完了,但是银行APP没了推荐系统,还是照样跑,只是盈利增长没那么快而已。因此,推荐系统在系统层级的重要性,以及领导的重视程度方面,其实是不及风控的。不过推荐系统也有一些好,比如做法整体更偏互联网化,比如更习惯于A/B test来看模型效果,而不是像风控条线喜欢做统计检验,等等。

最后说CV和NLP。CV和NLP在银行中的应用地位相对有限。CV通常就是OCR和刷脸等,OCR用于识别一些进件材料,例如身份证,银行卡的卡面信息识别等,这些都是非常成熟的产品,所以往往这些产品是直接外购的,不需要银行内部再造轮子。NLP的应用亦是如此,比如一些应用内的搜索,还有智能客服对话等等。一般来说,CV和NLP解决的问题相对而言更标准化,银行会更倾向于外购现有产品,或者通过外购+驻场定制化开发的方式来应用落地CV和NLP场景。换句话说,如果做CV或者NLP来到银行,更有可能做的是类似项目管理的工作,而不是实际的搭模型、算法开发方面。

所以综上所述,在银行里面,这4个方向中风控无疑是最接近核心的一个方向,但是这个方向其实和互联网行业的“算法工程师”做的区别还是不小的,无论是方法论方面还是语言(python<->sas)方面。推荐系统角色定位相对边缘,但是做事的方法和互联网更贴近,不过DAU,PV等数据量肯定不如互联网企业,反过来说,对于系统时效性要求也没有那么高。而CV和NLP来了很大可能不是做本行,而是转PM方向,能不能进,看有没有坑位,而不在于技术上的要求。不过现在在银行科技在转型的形势下,估计这种养老职位会越来越少。

PS:这个答案说的是答主在某银行看到的现状,在银行业可能可能有一定的共性,但切勿套用在互联网和独角兽企业上。需要看互联网和独角兽的情况请参照其他回答。

作者:纳米酱
https://www.zhihu.com/question/398876586/answer/1325455486

公司东搞搞西搞搞,我横跨超多业务线,以上领域全都做过。我建议是都别选了,多刷leetcode多跳槽,每天划水刷题搞开源,坑资本家三年钱,累积足够100万,回老家当老师公务员,或者搞其他事情吧。

自然语言诸如bert一类服务都被中台化服务化了,和各种号称几百亿节点的graph工具搭配起来,各种抽取知识,你连学习nlp的动力都没有了,直接查表就是了。训练?成套训练可视化界面都给你做得出来,几毫秒inference时间,几个小时的fintune时间,你只要会点run便可。现在就差压缩这些巨无霸还有搞头

视觉各类基础模块全都服务化了,而且这东西走集中调度比较坑,中台搞了人家业务方也不一定会用,github调包太方便了,完全可以自己启动,现在中台血拼视觉能力靠的是大量gpu服务器和低成本并发能力,你要10个gpu跑多少qps,我做到5个,拼这种能力,没人关心性能,只关心成本。视觉适合做2b项目,然而做2b在公司生存不下的,特别是政府的,都是项目制,做一个算一个,没啥爆发性,领导一换全都凉了,2b成了二逼代言词,公司做视觉也就剩视频还有搞头,又有几家公司能有直播带货呢?

风控两年前做过,这个技术门槛太低,xgboost横行天下,走纯业务,以后要去银行还好,qps不过1000的业务都不是纯正互联网业务,以后走互联网技术栈被锁死。

推荐系统和广告,广告作弊太普遍了,到处都是保量刷量,跪舔广告主爸爸,现在有搞头的,也就学习在各种爸爸约束下搞流控,pacing,强化学习啥的,一个目标后面搭配10个爸爸约束,经常发现又不数学太难一时半会解不出来,有不就是无解,最后解决方案是找到爷爷,让爸爸都听爷爷的,约束一下子少了很多,然后又成了社会工程学问题,没啥技术含量。

推荐系统,现在主播帮你解决内容生产和用户兴趣挖掘,顶层做好流控就行了,剩下搞搞用户行为分析和归因分析,不过这两个方向不直接面向指标,公司35岁开除你没商量。推荐系统工程师最后只需要会调权,流控,强插广告,数据分析便可。冷启问题又回到前面nlp和视觉上来,你调公司服务就行了。做rank?业界人士都知道,大部分公司压根都好久不优化rank了,roi太低,瓶颈压根不在于此。然后现在招聘大头兵,经常要求能不能给我搞全链路强化学习出去吹牛,想得美,试一个人工策略没这么简单,试work都要一个月去判断,人肉强化学习还差不多

最后,做nlp和视觉的同学拼不过开源速度,做广告和推荐同学,人家已经不关心你的算法能力,你必须要有带业务线的经历,负责一个业务线包括工程和算法还有组织管理,简直要你啥都会。做风控纯粹业务逻辑,没啥技术含量,反而想去银行还好

最后,比来比去,还是比刷题能力

作者:想早睡早起https://www.zhihu.com/question/398876586/answer/1260778223

选方向不如选部门。进大公司的搜索、推荐、广告部门的话,干的活直接涉及流量和变现,任何方向都很有前途。去一些人工智能实验室之类的部门的话,如果团队没有能为公司赚钱的业务,可能就只剩下“体面”了。

实在纠结方向的话,推荐>NLP>=CV>风控。

作者:刘文杰
https://www.zhihu.com/question/398876586/answer/1327427549

平时不怎么看知乎,第一次作答,被大佬点名,就针对风控写一点思路吧。

对于互联网风控在下算是做得比较早的一批人了,我看了很多其他人的回答,总体感觉很多人对算法应用的理解陷入了一个误区。

为什么很多人把风控排的相对靠后

直观来看很简单,首先问题封闭,几乎解决的就是怎么优化坏账/N日逾期率这一个核心问题上。技术深度上,由于金融场景对模型可解释性要求很高,所以,xgboost+lr基本已经到头了,新一点的技术全都没法用。So,看上去是个轻松愉快的工作,花3天时间随便搞个简单打分服务上线,反正也没啥并发,然后再花两个月一边划划水一边搞搞图特征,收敛了,没了。

风控方向真的没啥可做的了吗

在下抛出一些问题,无论做没做过风控,都可以一起讨论一下:

- 既然可解释性要求高,有没有办法兼顾可解释性和深度学习带来的效果收益呢?如果有,是不是NLP和CV 等领域的新技术也能用到风控了?

- 既然风控对数据的依赖强,大量的数据资源都在第三方(前年可能有数千家公司,现在估计很少了),那么实际上是效率制胜,衍生出的问题是:如何快速接入数据?对于各种不同的数据形态如何快速地清洗并评估出对模型的价值?如何评估新数据源的商业价值?

- 如何优化模型外的策略层?

- 用户行为数据用好了吗?如何迭代?

- 风控引擎对借款流程的优化能有什么帮助?对流量获取有什么帮助?应该以什么样的计费模式获取流量使得公司ROI最高?我们能跟流量方做哪些合作?

- 信审为什么存在?为什么有些场景要淘汰掉?本质是什么?有什么办法能更好地利用信审的数据吗?

- 催回率有多少办法优化?催收团队的人效如何提升?

方向与价值@li Eta同学有句话非常关键:对于工业界从业者来说,核心工作其实在于“适配”,主要是针对业务环境选择合适的方法。

上面列的这些问题,其实每解决掉一个,都能带来非常直接的业务收益,但是我接触到的大多数风控从业者,思维太局限在模型上,导致看到的也是很局限的问题。真实的业务场景有着海量的机会,合适的架构+合适的算法,用到最需要的场景,才是真正的能力。

当然,那个风控如日中天的时间点已经过去了,这点其实很多人已经提到,机会相对以前已经少了一些,但也会冒出来一些新的机会,就看谁能抓得住了。

总结一下

任何大方向的业务中都还是充满各种机会的,主要还是要有眼光,有技巧,有执行力去做起来。

最后忍不住解析一下一个挺火的回答(风控部分):

“风控两年前做过,这个技术门槛太低,xgboost横行天下,走纯业务,以后要去银行还好,qps不过1000的业务都不是纯正互联网业务,以后走互联网技术栈被锁死。做风控纯粹业务逻辑,没啥技术含量。”

自己菜还是不要怪业务方向了吧,错误引导太多人了。

作者:li Eta
https://www.zhihu.com/question/398876586/answer/1327357883

推荐/广告

因为恰好在一家推荐广告做的还行的公司,对这方面还是有一定的了解。

推荐和广告技术在ctr cvr这方面技术有一点重叠,就一起讲。ctr cvr模型无论是说样本还是模型训练,都有很多细致入微但是收益巨大的改进点。这个方向是可以持续优化的,并且它本身的上限和上下游的改进也有关,这个过程会持续好几年,然后进入瓶颈期,等待下一次技术大爆发。

在这个领域应当避免强行附和流行的模型(比如强化学习),不是说时髦的技术没用,我个人相信强化学习在推荐领域会有大作用,我只是反对不能言之有物的“支持”和“反对”。

此外,推荐/广告算法也不仅仅只服务于把流量分配准,还有很多涉及作者、广告主的算法和策略,这块不像ctr cvr一样广为人知,但其实是根本中的根本。

从事这个领域,最重要的能力,不是熟悉多少模型套路,是业务理解+不断学习新技术,掌握这种能力,类比一下,那么你也许就是下一个发明新套路的人(就如发明如何用机器学习做ctr的人一样,现在看来是成熟套路,当年可不是)。

建议选择流量正在崛起的公司,这样的公司很多基础技术都还处于迭代中,薪资高,机会多,成长空间大。

风控

这个我不懂,我帮at下真正懂风控的@刘文杰

cv/nlp

这两兄弟一起说。cv nlp 发展几十年了,cv真正实用是得益于深度学习,在dl之前,cv好多方向只是有一个well-define的问题,但是结果很差(比如detection segmentation)。nlp在dl之前比较work的可能只有分词、ner这类这样相对不那么复杂的任务,nmt还是dl时代才做到“看起来不那么糟”。

目前确实有不少非常work,且成本不高,容易被标准化的套路,比如nlp的bert(或者别的pretrain)+ fine-tuning,cv 的 imagenet分类数据集(或者MoCo一类的pretrain)+ fine-tuning。

但学术上讲,这并不是终点,我们尚未实现给定数据集的“无人驾驶train模型”。

对于工业界从业者来说,核心工作其实在于“适配”,主要是针对业务环境选择合适的方法,有时候带有一些微创新。乍一看,可能让人觉得“适配”很low,其实不是这样。简单举个的例子,抖音那么多实时的特效,背后原理,做cv的同行能猜个八九不离十吧,但是你能按照这个badcase率和同样的流畅度实现到手机上吗?(这里面不仅仅是工程问题)。这样的工作一点都不容易,未来也有很强的技能迁移机会,工业界有为数众多的特殊场景,也愿意为此付出高工资。

总之,目前互联网还是一个朝阳产业,并且这个领域里面推荐 cv nlp都已经证明了自己的长期价值,对于做技术的人来说是一波时代发展带来的红利,一如特殊年代的石油工人、90年代选择下岗经商。

作者:潇湘夜雨
https://www.zhihu.com/question/398876586/answer/1325857961

小公司的话,啥都得做一点。大公司的话,推荐系统第一,风控第二,计算机视觉第三,nlp第四。纯做nlp这种东西,感觉还不如不做。。。你做推荐系统,会用到部分nlp的东西,你做纯nlp,想去抢推荐的饭碗,难度有点大。nlp的产出多是标签,表征向量这种,目的就是给推荐或者搜索用。。。还不如直接去做推荐。。。

作者:Milano
https://www.zhihu.com/question/398876586/answer/1326490193

刚好在其中两个领域呆过,还有一个领域算半混过吧。就抛砖引玉一下。总的来讲,个人认为推荐 > NLP > 风控 > CV.

推荐目前应用最广,技术深度虽然比不上NLP,CV但是也有一定的护城河。另外,推荐不止模型,一些其他的落地点也很有挑战,比如如何面对信息茧房的问题。推荐还有一个优势,可以以很小的代价转为广告领域,广告作为目前互联网公司营收的大头,业务上,技术上都有成长空间。目前来看还没有其他更有效的营销手段,因此在职业发展上说,算的是比较持久。一句话,目前互联网时代只要没有大规模的代际升级,推荐是信息门面,广告是收入门面。技术栈相通,不论是深度还是广度都是可以的。

NLP次之的原因是目前竞争激烈,技术上迭代较快,需要不断学习但商用落地目前没有太主流的成功案例。另外,如果去做推荐,NLP可以作为基础模块来增益模型效果,也可以顺势了解NLP的领域。总的来说,NLP有应用点,鉴于现在nlp的模型往大而全的方向发展,因此大规模的成功应用目前没有,更多是作为基础数据部分进行特征生产。如果引申到asr,tts等领域,可能智能设备公司应用会更多。

风控第三的原因之一很多人已经提及,技术护城河太浅,一个lr,gbdt就已经能够满足要求。要求解释性的原因深度学习应用很少。整体数据量级较低,处理方法也比较简单。学习推荐或其他领域在工业上还可以涉猎一些分布式及大规模数据应用的工程领域,风控则不太可能有,基本上python打天下,很多公司的工程架构也是基于python上的。数据处理上spark,hadoop应用较少,jupyternotebook基本够用。另外,现在更多的风控公司都是强规则,辅以模型,因此在金融风控公司策略算法比模型算法更加吃香。有句话形容风控挺好的,风控就是个厨子,自己不产菜,菜新鲜做出来的东西就香,菜不行咋整都不行。现在风控模型基本是靠特征工程,前几年可以找各种第三方公司拿数据,这两年不行了。想走这条路,以业务为主较好,技术为主越走越窄。好处就是,实在不行,传统银行保险企业可退。

CV排在最后,主要是因为深度学习的应用让cv这边鱼龙混杂。cvpr已经成为灌水最严重的顶会之一了吧。因为深度学习的风靡很多人学个皮毛就去炼丹,找一个懂滤波,算子的都没那么容易了。另外,现在cv因为行业的原因,模型过大,部署困难,真实商业环境的光线,数据传输中的压缩都会让算法大打折扣,能够应用的领域也比较受限。很多公司的cv应用有公司具体业务场景的做做魔法表情,做做特征搞搞聚类,没有业务场景的靠 卖api,设备过活。也就安防领域可能比较成熟。无人驾驶方面现在看还是个大坑。可能搞搞端智能,移动端部署也不错吧。

总结一下,推荐(广告)各项均衡,各种课题可研究性也不错,是目前互联网公司主要的营销和获利手段,还可以顺势了解nlp。风控,技术深度不够,但胜在业务规模大,进可能不太可攻但退一定可守。NLP低级应用点较多,但高级应用点较少,应用领域较cv更多,技术难度大。CV应用领域较少,目前看灌水严重。

从公司角度来说,

推荐:内容,产品主打的公司都行。可选择面太广了。

风控:互联网金融公司(要仔细甄别),传统银行,保险

NLP:主推有业务场景的公司,第三方技术方案服务商不太推荐。另外,主打内容公司也可以,做基础数据支持

CV:主推有业务场景的公司,第三方技术方案服务商不太推荐。

作者:匿名用户
https://www.zhihu.com/question/398876586/answer/1327776823

风控不懂,说几个CV, NLP,推荐的问题。

计算机视觉:从就业角度看,最大的问题还是学CV的太多太多了,顶会泛滥贬值,人才过剩,岗位增长跟不上从业人数增长。第二是门槛低护城河太浅,人脸识别,分类定位分割检测,模型压缩量化,开源代码一抓一大把,你能做的别人也能做,而且别人做的更便宜。

自然语言处理:从业人数多和门槛低的问题和CV一样,只是CV比NLP更早火起来,更先暴露出问题。今天的CV就是明天的NLP。另外的问题是,NLP难以单独产生实际价值,更多的是作为其他系统(如推荐系统)的附属品。

推荐系统:和CV,NLP相比,国内专门做推荐系统的组太少了。很多从业者是从别的方向转过来的。然而就业竞争并不低。

附一个美团今年各个岗位的投递录用比:推荐才是真的火葬场。

现在算法岗和开发岗薪资已经差不多了,但是竞争压力相差近十倍。何必去赶这算法火葬场呢?iOS开发安卓开发它不香吗?Web前端开发和后端开发它不香吗?

- end -






算法工程师的就业方向 量化开发日常的工作主要是支持交易员的日常交易的需求,实现交易的策略和算法,开发 Quant Trader 使用的交易工具等等,因此作为一名developer,需要了解更多和编程相关的内容,也需要学习很多软件开发的工具,比如数据库 SQL,Linux 操作系统等等。赶上上线,就需要最短的时间解决问题。然后是持续学习的能力,技术的迭代很快,不进则退,优秀的算法工程师不仅需要钻研本领域的知识,还需要了解其它方面的知识,比如推荐算法工程师需要了解各种训练框架甚至其具体实现,软硬件怎么结合,C++的进阶等等; 阅读详情

相关推荐

AlphaFold-multimer实战:从零开始预测STAT1-STAT2蛋白复合物结构

本文详细介绍了使用AlphaFold-multimer从零开始预测STAT1-STAT2蛋白复合物结构的完整实战流程。内容涵盖环境配置、数据库准备、序列处理、参数优化及结果可信度评估,为研究者利用这一AI工具进行复合物结构预测提供了系统指南和深度解析。

weixin_29094301的博客 887

算法工程师当前选哪个方向好?| 文末送书

链接:https://www.zhihu.com/question/398876586编辑:深度学习与计算机视觉声明:仅做学术分享,侵删当前2020年,从社会需求,工资待遇,未来发展方...

深度学习与计算机视觉 1677

机器学习面试笔试求职必背!八股文(1/5)

算法工程师,技术软件类求职机器学习必背八股文 更多算法/业务/HR面等笔试题面试题 —— >个性签名自取! 1. 特征工程: 1.1 为什么要对特征做归一化处理: Feature scaling,常见的提法有“特征归一化”、“标准化”,是数据预处理中的重要技术。特征间的单位(尺度)可能不同,比如身高和体重,比如摄氏度和华氏度,比如房屋面积和房间数,一个特征的变化范围可能是[ 1000 , 10000 ] [1000, 10000][1000,10000],另一个特征的变化范围可能是[ −.

大厂offer宝典 1万+

2024年,算法岗哪个方向更有前景

节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂同学、参加社招和校招面试的同学,针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天给大家分享一下我的心得,希望对后续找工作的有所帮助。这几年AI风口变的太快了,有个粉丝后台私信我,问我:刚研一,后面想做算法岗,哪个方向最好就业。算法岗方向确实多:传统NLP、CV、搜推广、大模型、风控、自动驾驶甚至包括量化等等。今天花十分钟简单讲讲这个问题。

2301_78285120的博客 4452

python爬虫豆瓣读书top250+数据清洗+数据库+Java后端开发+Echarts数据可视化(二)

之前的博客已经写了python爬取豆瓣读书top250的相关信息,接下来继续看如何清洗数据。 如果有没看懂的或是不了解上一部分说的是什么内容的,请看https://blog.youkuaiyun.com/qq_45804925/article/details/112848887 现在开始具体内容的复习: 1. 豆瓣读书top250信息预处理 #数据清洗 import pandas as pd import re import time # 先读取数据文件 data = pd.read_csv('E:/Class/商.

qq_45804925的博客 4442

QWEN 2.5模型结构解析与代码解读

对Qwen2.5大模型的代码进行研究

4364

目前算法都有哪些研究方向

这些研究方向只是算法领域的冰山一角,实际上算法的研究还在不断发展和扩展,涵盖了更多的细分领域和应用场景。目前算法的研究方向相当广泛,涵盖了多个领域和细分方向。

怀揣梦想,一颗执着于技术的心从未磨灭,内心住着一颗顽强的小强时刻提醒自己层层突破自我,同时也成就他人 1828

高通8397/8797 qcx camera usecase梳理

本文介绍了ISP(图像信号处理器)的两种工作模式:Inline模式和Offline模式。Inline模式下,前端(IFE)直接连接物理层并行处理,最多支持4路流处理,后端(IPE)通过内存访问完成增强处理;Offline模式下,图像数据先写入内存再由SFE_Lite读取发送给IFE_Full处理,实现一个IFE串行处理多路数据。文章还详细解析了camera_config和usecase配置文件的结构与作用,包括硬件资源配置、场景逻辑定义等,并以ID40_UsecaseDMS为例说明离线模式的具体实现流程,包

车载行业 850

【面经】美团测试1,2,3面,一起来聊聊?

前言 最近因为公司层面的关系,我被迫营业开始了一些面试。 最近面的公司有:美团、阿里、字节、B站、携程等等。从面试中呢也有了一些感受,比如面试形式、内容、面试官的关注点、其他balabala… 一、关于面试 首先,关于面试这件事,我觉得除了解决我们工作问题之外,也是一项可以提升自己的途径。 记得之前看虫师、乙醇的博客的时候,得到了面试驱动成长的思想,我觉得是很有必要的。 可以让你获知当下的市场,对于测试工程师的能力要求,发生了哪些变化,你是否还可以保持在主流位置。 从面试官的问题,反推你在工作中的不足,.

测试萌萌 1893

openpi 入门教程(一)安装、训练、微调与推理

OpenPI是由物理智能团队发布的机器人开源模型和软件包,包含两种主要模型:基于流的扩散视觉-语言-动作模型(VLA)的π₀模型和基于FAST动作标记器的自回归VLA的π₀-FAST模型。这些模型已在超过10,000小时的机器人数据上进行了预训练,并提供了基础模型检查点,支持开箱即用或根据用户数据集进行微调。OpenPI的实验性质意味着它可能不适用于所有平台,但鼓励研究人员和从业者进行创造性实验。运行这些模型需要至少具备NVIDIA GPU,推荐使用RTX 4090或更高规格的显卡。OpenPI支持在Ubu

2506_90492529的博客 5107

【Bug已解决】Anthropic tool_result 找不到对应 tool use id 解决方案

方案适用场景推荐指数每个tool_use必须生成对应tool_result最基础的原则,所有Harness都必须遵守⭐⭐⭐⭐⭐裁剪历史时成对处理实现了上下文裁剪/压缩逻辑的Harness⭐⭐⭐⭐⭐并行工具调用结果数量校验支持多工具并行调用的场景⭐⭐⭐⭐使用官方SDK高层封装不需要特别定制消息组装逻辑⭐⭐⭐⭐请求前主动校验中间件追求生产级健壮性,提前拦截问题⭐⭐⭐⭐⭐这类报错,本质上是。

一键难忘的博客 1万+

自动驾驶仿真工程师,有哪些职业进阶方向?

作者|李慢慢 编辑| 车路漫漫点击下方卡片,关注“自动驾驶之心”公众号ADAS巨卷干货,即可获取点击进入→自动驾驶之心【仿真测试】技术交流群本文只做学术分享,如有侵权,联系删文大家好,我是李慢慢。这篇文章不聊技术,聊聊职业路。从本公众号创办至今,两年多来我一直在分享一些自动驾驶仿真工程师的实用技能,110多篇原创不知道有帮助到你们多少呢?(看每篇文章的分享量,想来效果也不会太差吧)。不过我...

CV_Autobot的博客 2355

【WRF编译-Lab1】使用自动脚本编译WRF:错误总结

WRF编译过程及错误总结

WW、forever的博客 83

聊聊我的试用期总结(不知名公司算法工程师

作者:车摄影:车入职也有好一段时间了,前段时间试用期结束了。在互联网公司的试用期一般都是三个月。但这个时间其实并不是严格的,可能提前就答辩了。而我就是其中一位,原本打算三个月的工作,也被扯断了。最终两个多月的时间就开始准备答辩的事情。虽然今年情况严重,但只要被招进来的,只要公司别太心狠,个人别太作妖,结果基本上没啥问题,自己和周围的年轻同事,普遍都担心过,但还没见过没过的。聊聊试用期的一起总结吧。...

AI蜗牛车 1770

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

对于技术岗位来说,开发岗累还是算法岗累, 我们一起来聊聊

最近由于校招如火如荼,一些小伙伴在后台以及知乎上问我,在开发和算法之间犹豫,不知道如何抉择,想要问问究竟哪一个岗位更好?恰好我之前在知乎上回答过“对于技术岗位而言,开发岗累还是算法岗累呢...

AI蜗牛车 2966

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

NLP算法岗一年半的工作总结--聊聊什么才是NLP算法工程师的核心竞争力

首发公众号:【 NLP从入门到放弃】--日常更新技术分享先简单自我介绍一下,我任职在一家社交公司,做NLP算法工程师,主要做文本分类,序列标注,文本相似度方向的工作,也做过搜索/推荐方向的需求。工作快有一年半的时间了,在这一年半的时间里,我在工作的同时,一直都在思索,究竟什么才是算法工程师的核心竞争力,怎样才能避免刚入行就不停被灌输的那个35岁中年危机。我看过很多别人的经验总结,结合我自己的工作经历,慢慢有了一点自己的感悟,想要分享出来,希望对大家能有帮助。我用一句大白话说一下我自己对核心竞争力的总结就是:

古月哲亭 893

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

【20220522】算法工程师怎么这么难招

算法工程师怎么这么难招 时间:2022年05月22日 作者:小蒋聊技术 邮箱:wei_wei10@163.com 大家好,欢迎来到小蒋聊技术。小蒋准备和大家一起聊聊技术的那些事。 前一阵子,因为工作的原因,有幸面试了一个算法工程师。小蒋,因此特意的咨询了几个算法部门的意见,顺便了解了一下算法部门中 “人的矛盾”。 企业在招聘算法工程师的时候,工作描述那写的可是既高大又宏伟。但实际干活的时候,一个一个的工程师们却抱怨,干的活又脏又累又麻...

小蒋聊技术 2350

2024年,算法工程师必备的能力是什么?

分享一套我整理的面试干货,这份文档结合了我多年的面试官经验,站在面试官的角度来告诉你,面试官提的那些问题他最想听到你给他的回答是什么,分享出来帮助那些对前途感到迷茫的朋友。

2301_79655576的博客 1344

网络安全工程师_vs_程序员:这两个方向哪个薪资更高?哪个发展更好?

这不是一个“谁比谁更好”的问题,而是“你更适合成为谁”的问题。

小司机的奥拓 679

想冲华为AI认证,怎么选方向?

随着人工智能深入千行百业,AI相关岗位持续火热。华为也在认证体系中推出了,覆盖从算法开发到应用架构的多个方向。很多同学在打算考时,常常纠结:到底该选,还是?我们将从定位、内容、能力验证、适合人群、发展路径等角度,带你深入了解这两个方向,帮助你做出最适合自己的选择。一、证书定位对比:开发 vs 方案二、考试内容详解对比。

hcie-0001 1617

想做算法工程师要什么条件?

于是,很多同学坐不住了,跑来问老韩:“老师,我想做算法工程师,我行吗?算法工程师确实是一条金光闪闪的职业路线,但它不是“钱多人少事少离家近”,而是一条要靠硬实力硬拼的道路。这是一门算法领域的“官方语言”,因为它有丰富的机器学习库,比如 TensorFlow、PyTorch、scikit-learn,写起来既简单又高效。可以去 GitHub、知乎、优快云 提问,甚至去找行业内的大牛请教,抱住“老司机”的大腿,你的成长会快很多。电商要推荐算法,金融要风控模型,医疗要图像识别,几乎没有不需要算法的行业。

m0_61562916的博客 1044

聊聊我在美团做算法的感受

点击上方,选择星标或置顶,每天给你送上干货卷友们好,我是对白。虽然假期余额已然不足,但我们依然不能停下奋斗的脚步,因为总有人比你更努力,也比你更卷,在算法的这条道路上卷出了天际。哈哈开个玩...

zenRRan的博客 469

2024年小结:从大模型算法工程师面试官的角度,聊聊今年就业情况

本来只是想简单写写而已,结果却一不留神写了这么多废话,希望能够对你有所帮助。

2401_85373691的博客 1070
上一篇: 分分钟甩Word几条街,Python编辑公式竟可以如此简单
下一篇: 5个好用的Excel技巧,一秒钟完成一个功能
Wang_AI
博客等级 码龄12年 991粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值