最近私信问我关于入行、转行方面的问题比较多,就专门写一篇讲讲我的理解。
首先说明一下个人的背景和现状,我本人是本科学历,有互联网大厂搜推方向经验,后来跳到中厂继续做推荐,去年开始做大模型。现在是个小组长,做以应用落地为目的的大模型方向工作。
现在大模型算法涉及的工作主要分为这几个方向:
1.偏底层的训练和推理框架工作,比如colossal-ai、vlm这些,各厂如果自建集群搭建训练推理框架的话也会有一部分工作与之重合;
2.预训练;
3.Alignment;
4.应用开发;
上面也就十分粗略的简单做了个划分,其实很多界限并不清晰,只是为了后面叙述有个结构。
底层框架
这一层我是没太接触过的,不过公司内有做这方面的人。以我粗浅的认知,这些人的技术栈和以前搞GPU算子优化、分布式框架的那拨人重合度比较高。不太懂就不多说了。
预训练
在我看来,预训练这块的工作最终肯定是赢家通吃的。现在只是因为大家都还在同一个水平线上,也没有能和开源拉开差距,卖api也卖不了多少,所以看起来竞争还挺激烈。等到决出三六九等之后肯定没有必要存在那么多团队做pretrain。况且即使做pretrain的团队,真正核心在干活的也没几个人。一千张卡可能不够供一个人用,卡就那么多,配用的人也就那么多。剩下的人做的事情我觉得都不是那么有意义,不是说洗数据啥的不重要,重要,但对大多数人来说对个人价值提升不大。我之前也自己做基于llama的继续pretrain,现在这块工作已经完全放弃了,感觉没啥意义。
再有,所谓垂直领域大模型这个事情我觉得大概率是个伪命题,各方面知识应该是相互促进补充的,遵循奥卡姆剃刀原理我相信最终就是一个模型破一切。
所以我认为虽然现在预训练目前在就业市场上可能还是有比较大的需求量的,但是很多就是纯跟风,迟早得死。对于择业的建议就是:自信自己顶级天赋顶级卷度,势要干翻gpt4的人选这个。
Alignment
我其实觉得sft和强化学习都可以放一起,不知道我这个小标题准不准确。反正都是在基座上进一步提升对话的效果。这块工作其实就开始一定程度接近业务了,比如目前,很多业务团队都会根据下游任务来构造数据进行sft训练。会不会以后基座足够强之后全靠few shot啥的就完全解决问题,这个我不敢猜测。至少在国内,基于开源模型做sft拿到业务上用,应该是挺长一段时间会保持的状态,所以这个方向看起来我觉得是目前市场上需求较大,未来一段时间也还是会持续有比较大需求量的。想训模型的可以选这个方向我觉得挺好
应用开发
这一块的岗位其实现在大家看到的还不多,主要可能有两个原因吧,第一是openai的接口在国内直接用是有监管问题的。第二是国内开源模型的水平还不行,以及一些相关链路上的工作还没做完(比如functioncalling)。所以时机还不成熟,还不到LLM native应用大规模爆发的时候。
但是我觉得毫无疑问这个方向的人才需求以后将远远超出前面几个方向加起来,这就像是你搞安卓系统和安卓应用开发的对比一样。做操作系统开发才几个人,安卓开发那真是不知道有多少了。
我预计这个时间也不会太长,一两年肯定够了,所以现在找这个方向的机会开始布局也是很不错的。不过先训训模型等真的有机会起来也没问题,毕竟你做应用开发对系统原理了解清楚肯定是优势,
其他
其实除了上面说这些,还存在一些其他的方向,比如类似guidance这样在align模型之后的,和推理框架绑定比较强的组件,我觉得以后应该会融入到推理框架的范围内。
总结
最后简单总结一下,我认为现在总体的行业形势是资本进行了大规模投入,但是基本堆在预训练上,然后这个环节也容纳不了太多人就业,而且暂时也创造不了多少商业价值。所以很有可能一段时间后会有一个下行的阶段,现在做预训练这些创业公司死一批。然后随着应用端的工作越来越多,大家慢慢把投入方向往下移,往应用端发力,这时候会有一些找准机会和方向的公司出来。顺利的话各种LLM native应用就走入千家万户。(就纯粹我自己的想象哈哈哈)
总的来说我认为LLM肯定是一个好的方向,现在进来不管做什么,也算是比较早的了解原理的人,后面做应用应该也会有一些优势。
如何学习AI大模型?
大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业
?”“谁的饭碗又将不保了?
”等问题热议不断。
不如成为「掌握AI工具的技术人
」,毕竟AI时代,谁先尝试,谁就能占得先机!
想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。
但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高
那么针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料
分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程
等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓
无论你是刚入行的产品新手,还是经验丰富的资深产品经理,在AI时代下都需要不断拓展自己的技能边界,才能在未来的竞争中立于不败之地。
①人工智能/大模型学习路线
②AI产品经理入门指南
③大模型方向必读书籍PDF版
④超详细海量大模型实战项目
⑤LLM大模型系统学习教程
⑥640套-AI大模型报告合集
⑦从0-1入门大模型教程视频
⑧AGI大模型技术公开课名额
因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取
******************************************************************************************************************2024最新版优快云大礼包:《AGI大模型学习资源包》免费分享
2.大模型的优势
大模型最大的优势在于其强大的功能和广泛的应用。有时候,研究人员或开发者的需求不仅仅是快速的运行速度,而是能够处理复杂问题的能力。对于很多挑战性的任务,使用大模型能够大大减轻程序设计的负担,从而显著提高项目的质量。其易用性和灵活性也能让新手迅速上手。
虽然大模型在底层运算上可能不如一些特定的算法快速,但大模型清晰的结构和强大的能力能够解放开发者的大量时间,同时也能方便地与其他技术(如传统机器学习算法)结合使用。
因此,从来没有一种技术能够像大模型这样同时深入到这么多领域,并且大模型支持跨平台操作,也支持开源,拥有丰富的预训练模型。尤其随着人工智能的持续火热,大模型 在学术界和工业界的关注度持续攀升,越来越多的技术爱好者、行业关注者也都开始学习和应用大模型。
3、大模型学习建议
在学习大模型的过程中,不要因为自己的基础薄弱或者之前没有接触过相关领域就想要放弃。记住,很多人在起跑线前就选择退出,但只要你沉下心来,愿意付出努力,就一定能够掌握。在学习的过程中,一定要亲自动手去实践,因为只有通过编写代码、实际操作,你才能够逐渐积累经验。
同时,遇到错误和挑战也是不可避免的,甚至可以说是学习的一部分。当你遇到错误时,学会利用各种资源去解决,比如搜索引擎、开源论坛、社区和学习群组,这些都是你提升学习能力的好帮手。如果实在找不到错误的解决办法,可以来公众号或者相关学习平台上寻求帮助。
题外话
黑客&网络安全如何学习
今天只要你给我的文章点赞,我私藏的网安学习资料一样免费共享给你们,来看看有哪些东西。
1.学习路线图
攻击和防守要学的东西也不少,具体要学的东西我都写在了上面的路线图,如果你能学完它们,你去就业和接私活完全没有问题。
2.视频教程
网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己录的网安视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。
内容涵盖了网络安全法学习、网络安全运营等保测评、渗透测试基础、漏洞详解、计算机基础知识等,都是网络安全入门必知必会的学习内容。
(都打包成一块的了,不能一一展开,总共300多集)
因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取
🐵这些东西我都可以免费分享给大家,需要的可以点这里自取👉:网安入门到进阶资源
3.技术文档和电子书
技术文档也是我自己整理的,包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点,电子书也有200多本,由于内容的敏感性,我就不一一展示了。
因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取
🐵这些东西我都可以免费分享给大家,需要的可以点这里自取👉:网安入门到进阶资源
4.工具包、面试题和源码
“工欲善其事必先利其器”我为大家总结出了最受欢迎的几十款款黑客工具。涉及范围主要集中在 信息收集、Android黑客工具、自动化工具、网络钓鱼等,感兴趣的同学不容错过。
还有我视频里讲的案例源码和对应的工具包,需要的话也可以拿走。
🐵这些东西我都可以免费分享给大家,需要的可以点这里自取👉:网安入门到进阶资源
最后就是我这几年整理的网安方面的面试题,如果你是要找网安方面的工作,它们绝对能帮你大忙。
这些题目都是大家在面试深信服、奇安信、腾讯或者其它大厂面试时经常遇到的,如果大家有好的题目或者好的见解欢迎分享。
参考解析:深信服官网、奇安信官网、Freebuf、csdn等
内容特点:条理清晰,含图像化表示更加易懂。
内容概要:包括 内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…
因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取
🐵这些东西我都可以免费分享给大家,需要的可以点这里自取👉:网安入门到进阶资源
————————————————
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。