大模型Infra王朝2024

最新推荐文章于 2025-11-27 14:26:48 发布
原创 最新推荐文章于 2025-11-27 14:26:48 发布 · 265 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习

图片

知乎：手抓饼熊（已授权）
链接：https://zhuanlan.zhihu.com/p/12663989502

记录一下2024做大模型Infra的一些破防瞬间。

大厂All in大模型的历史背景

图片

图片

不上称四两重

图片

日常GPU余额

图片

当卡被其他人用了

图片

平时的心里状态

图片

接到任务时的心里状态

图片

辛苦优化的功能算法不肯上线

图片

模型训崩了

图片

遇到友商打价格战

图片

与开源方案对比性能前

图片

与开源方案对比性能后

图片

竞品发布指标第一后

图片

最后截取部分评论，哈哈

图片

又一年要过去了，乐呵一下，大家对目前的LLM Infra有何看法，敬请留言，直抒己见！

AIBigModel
关注
大模型Infra这些年：黑铁时代，黄金时代，白银时代
m0_70839135的博客
08-07 2475
越来越多人开始关注大模型，很多做工程开发的同学问我怎么入门大模型训练推理系统软件（俗称大模型Infra）作为一名曾经后台开发岗位同学，大家的心情我感同身受。近年来国内互联网业务整体低迷，而大模型却在逆势崛起，每天新闻可谓繁花似锦，烈火烹油，和其他子领域形成了鲜明对比。环球同此凉热，2023年硅谷裁了几十万软件工程师，但美国各大厂都在疯狂买GPU高价招人做大模型，这半年的美股靠这波AI的预期再创新高。冷热对比，高下立判，作为计算机从业者肯定都不想错失上车的机会。
大模型时代，是 Infra 的春天还是冬天？
程序认生
06-05 1621
2023 是我过往人生经历中最传奇的一年（虽然只过去了 3/4），年初 ChatGPT 爆火让所有人看到了 AGI 可能实现的曙光，无数创业公司、大厂立即跟进 LLM 甚至 ALL IN， 紧随而来的 GPT-4 和 Office Copilot 让市场沸腾。当时感觉，AI 时代的技术迭代速度以天记，汹涌的 AI 技术革命将迅速影响每个人的生活。从技术发展曲线来看， GPT-4 的发布应该是市场关注度的峰值：LLM 技术成熟度曲线（大致）
大模型Infra发展路径盘点
zenRRan的博客
07-31 635
原文：https://zhuanlan.zhihu.com/p/708594043越来越多人开始关注大模型，很多做工程开发的同学问我怎么入门大模型训练推理系统软件（俗称大模型Infra）。作为一名曾经后台开发岗位同学，大家的心情我感同身受。近年来国内互联网业务整体低迷，而大模型却在逆势崛起，每天新闻可谓繁花似锦，烈火烹油，和其他子领域形成了鲜明对比。环球同此凉热，2023年硅谷裁了几十万软件工程师...
2024大模型十大趋势
ith321的博客
07-16 1249
2024大模型十大趋势
大模型Infra这些年，从黑铁时代到黄金时代再到白银时代
lqfarmer的博客
07-18 688
作者：方佳瑞，清华大学 计算机科学技术博士；腾讯 · 专家工程师。声明：本文已经授权，版权归原作者！原文：https://zhuanlan.zhihu.com/p/708594043越来越多人开始关注大模型，很多做工程开发的同学问我怎么入门大模型训练推理系统软件（俗称大模型Infra）。作为一名曾经后台开发岗位同学，大家的心情我感同身受。近年来国内互联网业务整体低迷，而大模型却在逆势崛起，每天新闻可谓繁花似锦，烈火烹油，和其他子领域形成了鲜明对比。
AI Infra
AI工程化、开源分享、文档翻译、代码笔记
01-02 6106
关于 Infra AI Infra的核心思想 组成部分 硬件 软件 网络 云服务 监控与优化 安全与合规 关键里程碑 未来展望
AI Infra大模型基础设施
weixin_43156294的博客
03-31 1682
在当今数字化浪潮中，人工智能（AI）已成为推动各行业变革的核心力量。而在AI的蓬勃发展进程里，大模型凭借其强大的认知和处理能力崭露头角。从自然语言处理领域的GPT系列到计算机视觉中的各类大型模型，它们在理解、生成和预测复杂信息方面展现出了前所未有的性能。但这一切的背后，离不开一个关键的支撑体系——AI Infra（Artificial Intelligence Infrastructure），即人工智能基础设施。
2025年，大模型落地的最佳AI infra土壤在哪里？
chanyejiawang的博客
01-10 928
火山引擎，“快走一步”
走近 AI Infra 架构师：在高速飞驰的大模型“赛车”上“换轮子”的人
金融机器智能社区
03-19 2490
1% 的训练提速，或者几秒之差的故障恢复时间，累积起来，都能影响到几百万的成本。
DeepSeekV3带火大模型infra，入门看这篇就够了！
AIBigModel的博客
01-01 2273
真中合欢为什么会有这篇文章：虽然工作内容不是infra，但是我比较喜欢研究训练方法，魔改训练框架造轮子。正好最近看到OpenRLHF用ray管理VLLM的方案，感觉很有意思，遂研究了一下，发现VLLM的TP切分和Megatron是一套逻辑，用torch的rpc也可以代替ray的远程调用，所以打算用Megatron+TorchRPC+VLLM实现一套类似的框架，后期再把VLLM原地换掉直接megatron推理。在开始这个大工程之前，正好有机会写下这篇文章，就算是开工仪式了。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 304
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 951
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
2501_92808811的博客
11-25 712
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
信息检索13
2301_80828873的博客
11-26 1090
最近邻检索的方法，PQ，IVF,HNSW
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 595
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 880
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
RAG信息检索全解析：从Embedding到Reranker的超详细教程1
最新发布
Trb201013的博客
11-27 505
文章介绍了RAG系统中信息检索环节的核心技术，包括文档段落嵌入和用户查询嵌入，将文本转换为向量表示；详细解释了相似度检索的多种方法，如Top-K检索、MMR策略和Reranker二次排序技术；强调了合理切分策略对嵌入效果的重要性，以及查询扩展技术对提高检索准确度的作用。指出RAG的本质是"开卷考试"，检索质量直接影响最终生成效果。
【LoRA（低秩适应）技术详解：原理、公式与实践】
m0_46882548的博客
11-26 786
参数高效：可训练参数量通常仅为全量微调的0.01% - 3%，极大降低了计算和存储成本。内存友好：由于大部分原始权重被冻结，无需存储其优化器状态，显著减少了训练时的显存占用。无推理延迟：训练后可将LoRA权重合并回原模型，推理速度与原始模型一致。模块化与灵活性：一个基础模型可以搭配多个针对不同任务的、体积很小（几兆字节）的LoRA适配器，轻松切换任务。减轻灾难性遗忘：因为原始权重基本不动，模型在适应新任务时更不容易遗忘预训练时获得的通用知识。
多模态大模型ai infra
04-14
好的，我现在需要帮助用户了解多模态大模型的AI基础设施或架构，以及部署方面的内容。首先，我得理解用户的具体需求。用户提到了多模态大模型的基础设施、架构和部署，可能他们正在考虑如何搭建或应用这样的系统，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值