- 博客(4)
- 资源 (2)
- 收藏
- 关注
原创 第03讲:计算机体系结构前置——CPU 存储层次、Cache Line 与 NUMA 架构
本文探讨了大模型训练中GPU利用率低下的核心原因——CPU数据搬运瓶颈,系统介绍了CPU存储体系的关键技术: 存储层次与局部性原理:从L1/L2高速缓存到主存的访问时间差可达100倍,64字节Cache Line设计源于空间局部性优化 缓存一致性挑战:详细解析MESI协议与总线嗅探机制,指出伪共享(False Sharing)会导致多核间无效缓存行同步,产生严重的总线风暴 NUMA架构优化:跨Socket访问内存延迟翻倍,需要结合Pinned Memory和NUMA绑定技术优化GPU数据供给 系统级解决方案
2026-08-25 12:06:35
345
原创 第01讲:AI Infra 工程师的 C++ 与 Python 底层必修课
很多同学第一次接触 AI Infra,会有一个很自然的疑问:“我会 Python,也会,模型能训练、能推理,为什么还要学 C++?如果你的目标只是调用现成模型,Python 确实已经足够强大。优化大模型推理延迟;修改 vLLM / TensorRT-LLM / SGLang 的核心执行路径;编写 CUDA Kernel;定位 PyTorch 算子性能问题;处理 Tensor 的生命周期、显存与 Stream;排查 NCCL、CUDA Runtime、动态链接库问题;
2026-08-24 14:59:38
319
原创 WorkBuddy + ima 进阶篇:现在它能直接写你的知识库了
摘要: 本文是云原生与个人AI知识库的进阶实战指南,重点解决知识管理闭环中的“写入”环节。通过升级WorkBuddy工具,用户可实现链接/文件批量入库、精准检索、内容深度加工及产物自动存回知识库(ima),形成完整的数据流。文章提供五大实用场景(如清空收藏夹、知识库体检、邮件自动归档)和六条即用指令,并强调自动化需设置安全边界(如禁用覆盖原文件、敏感数据隔离)。核心建议是降低知识管理摩擦,通过“同名保留”等策略确保自动化效率与安全性并存,让知识库从静态存储升级为持续运转的生产力系统。
2026-08-20 14:08:26
246
原创 用 WorkBuddy + ima 搭个人知识库,长手就能学会教程
这篇文章介绍了如何用WorkBuddy+ima搭建适合国内用户的个人知识库系统。作者指出Obsidian等工具对新手门槛较高,建议先解决资料分散问题。文章详细讲解了这套组合的分工:ima负责资料收集入库,WorkBuddy进行预处理,用户最终判断内容价值。教程包含系统搭建、知识库分类建议、基础Agent任务设计等内容,强调知识管理的核心是"复用"而非单纯存储,并提供了Weekly Review等实用方法。该方案适合中文办公环境,能有效整合微信、文档等平台的零散信息。
2026-08-20 10:21:16
457
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅