<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[qq_38334677的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qq_38334677</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_38334677]]></copyright><item><title><![CDATA[算量科普：写给程序员的建筑工程量入门指南]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/157972121</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/157972121</guid><author>qq_38334677</author><pubDate>Wed, 11 Feb 2026 11:39:21 +0800</pubDate><description><![CDATA[算量（Quantity Takeoff / QTO）= 从建筑图纸中，把所有要用到的材料和工作量数出来、量出来。算量就是把一张二维图纸（非结构化数据）解析成一张结构化的 Excel 表格（结构化数据）。BQ（Bill of Quantities，工程量清单）是算量的最终产出物。你可以把它理解为一个嵌套的价格表BQ 的结构 ≈ 一棵树:项目总价├── A. 前期费用（Preliminaries）—— 项目管理、临时设施├── B. 主体建筑工程（Main Building Works）]]></description><category></category></item><item><title><![CDATA[LangGraph 快速使用说明]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/157800668</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/157800668</guid><author>qq_38334677</author><pubDate>Fri, 06 Feb 2026 10:11:40 +0800</pubDate><description><![CDATA[LangGraph 是一个由 LangChain 团队开发的开源框架，用于构建有状态的、基于图结构的 LLM 应用。它将应用逻辑建模为有向图，节点代表操作步骤，边定义流转规则，状态则在节点间共享数据。LangGraph 支持循环和条件分支，特别适合构建需要反复迭代的 Agent 系统。 核心概念包括： State：图的记忆，定义流转数据字段 Node：执行具体操作的 Python 函数 Edge：节点间的连接关系，支持条件分支 StateGraph：组合节点和边的构建器 LangGraph 优势包括有状态执]]></description><category></category></item><item><title><![CDATA[React 与 Next.js 快速使用说明]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/157800498</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/157800498</guid><author>qq_38334677</author><pubDate>Fri, 06 Feb 2026 10:02:35 +0800</pubDate><description><![CDATA[本文面向有一定 JavaScript 基础、希望快速上手 React 和 Next.js 的开发者。内容以实际应用为导向，侧重于你在真实项目中会反复用到的核心概念和模式，而非面面俱到的 API 罗列。文中所有示例基于 React 18+ 和 Next.js 14+（App Router），代码均可直接运行。自定义 Hook 是以use开头的函数，可以封装可复用的有状态逻辑。// useLocalStorage：持久化状态到 localStoragetry {} catch {});]]></description><category></category></item><item><title><![CDATA[从AI算法工程师到“AI Engineering”（AI应用工程/全栈AI工程师）的改变思路]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/155679604</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/155679604</guid><author>qq_38334677</author><pubDate>Sun, 07 Dec 2025 22:57:18 +0800</pubDate><description><![CDATA[既然你是做 AI 应用的，自己写代码一定要用 Cursor 或 Github Copilot。对于你不熟悉的前端 CSS 或 SQL 语句，直接让 AI 帮你写，你负责 Code Review。在新岗位上，如果模型效果不好，第一反应应该是“优化 Prompt”或“优化检索数据”，而不是“我要重新训练一个模型”。当业务深入到一定程度，市面上的 API 无法满足需求时（比如需要极高的垂直领域专业度），你懂得如何微调（Fine-tune）小模型，这时候你就是团队里无可替代的大神。]]></description><category></category></item><item><title><![CDATA[1000道算法工程师面试题（大模型）—— 第35部分]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/155136038</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/155136038</guid><author>qq_38334677</author><pubDate>Sat, 22 Nov 2025 17:01:15 +0800</pubDate><description><![CDATA[摘要 本文探讨了大模型服务在生产环境中的稳定性保障与故障排查问题。主要内容包括：显存碎片化导致OOM的解决方案、僵尸进程处理、分层健康检查策略、KV Cache管理优化、GPU温度监控、共享GPU资源隔离、K8s调度问题排查、日志采样记录、共享内存配置、CUDA错误定位、客户端断开处理、降级预案设计、启动探针配置以及PyTorch版本兼容性问题。这些实践经验对于保障大模型服务的稳定运行具有重要参考价值，涵盖了从基础设施到应用层的全栈运维挑战。]]></description><category></category></item><item><title><![CDATA[1000道算法工程师面试题（大模型）—— 第34部分]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/155136008</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/155136008</guid><author>qq_38334677</author><pubDate>Sat, 22 Nov 2025 16:59:32 +0800</pubDate><description><![CDATA[本文聚焦RAG（检索增强生成）系统在业务落地中的性能优化问题。针对千万级数据检索延迟高的问题，提出按业务分片的优化策略；针对Embedding模型耗时，建议采用动态批处理和ONNX加速；针对短Query改写、Chunking平衡、Rerank耗时等典型问题，给出实用优化方案。同时讨论了向量数据库部署选择、并发优化、长文档处理等实战经验，涵盖从检索到生成的全链路性能瓶颈与解决方案，为大规模RAG系统落地提供技术参考。]]></description><category></category></item><item><title><![CDATA[1000道算法工程师面试题（大模型）—— 第33部分]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/155135989</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/155135989</guid><author>qq_38334677</author><pubDate>Sat, 22 Nov 2025 16:58:28 +0800</pubDate><description><![CDATA[本文总结了国产昇腾NPU在大模型训练和推理中的常见问题及解决方案。重点包括：MindIE推理服务显存预占机制需手动限制比例；Llama3模型需强制转换RoPE计算精度避免溢出；MindSpore迁移需注意静态图语法限制；HCCL通信故障需集群级处理；推理需采用分桶策略优化动态Shape性能；量化推荐W8A16方案；训练启动慢可通过图缓存加速；PyTorch高级算子需手动优化；Decode阶段需采用GQA等技术掩盖带宽瓶颈。文章还对比了不同国产卡的生态兼容性，并指出昇腾多机训练需配置交换机PFC和ECN以避免]]></description><category></category></item><item><title><![CDATA[1000道算法工程师面试题（大模型）—— 第32部分]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/155135968</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/155135968</guid><author>qq_38334677</author><pubDate>Sat, 22 Nov 2025 16:57:31 +0800</pubDate><description><![CDATA[摘要 本文聚焦生产环境中大模型推理的性能优化，涵盖vLLM、TensorRT等工具的调优实践。针对KV Cache显存利用率，建议设置为0.9-0.95；对吞吐量问题，提出降低max_num_seqs以平衡延迟与吞吐；处理突发流量时采用&quot;先排队后拒绝&quot;策略，设置5-10秒超时。量化方面指出权重显存可降为1/4但KV Cache仍为FP16，推荐FP8 KV Cache以获得1.8倍吞吐提升。长文本场景建议保持block_size=16以减少碎片化，并发控制推荐单卡A100(7B)安全并发]]></description><category></category></item><item><title><![CDATA[1000道算法工程师面试题（大模型）—— 第31部分]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/155135944</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/155135944</guid><author>qq_38334677</author><pubDate>Sat, 22 Nov 2025 16:55:31 +0800</pubDate><description><![CDATA[系统设计与优化摘要 本文探讨大模型系统设计中的核心挑战与解决方案，涵盖以下关键点： 索引策略：RAG系统采用增量更新+定期全量合并的Lambda架构，结合软删除优化百万级文档管理。 高性能网关：通过语义缓存（节省30%-50%流量）、模型路由分层、Token级计费实现亿级API调用支持。 延迟优化：区分TTFT与TPOT瓶颈，针对性优化Tokenizer、Prompt预填充或流式传输。 资源受限部署：通过AWQ量化、Tensor并行在4张3090显卡上高效运行33B代码生成模型。 安全防护：采用Prompt]]></description><category></category></item><item><title><![CDATA[1000道算法工程师面试题（大模型）—— 第30部分]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/155135929</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/155135929</guid><author>qq_38334677</author><pubDate>Sat, 22 Nov 2025 16:54:36 +0800</pubDate><description><![CDATA[本文聚焦Transformer底层原理与算法细节，深入解析Attention/Transformer相关核心问题。首先探讨RoPE位置编码的外推机制及其相对于绝对位置编码的优势；其次对比GQA与MQA的区别及Llama 3的选择；分析RMSNorm取代LayerNorm的趋势原因。在计算层面，详细推导7B模型的显存占用与KV Cache计算方式。此外，还涵盖SwiGLU激活函数、AdamW优化器、混合精度训练、Alibi位置编码等关键技术细节，并讨论大模型预训练中Dropout的取舍策略。最后解析生成任务中]]></description><category></category></item><item><title><![CDATA[1000道算法工程师面试题（大模型）—— 第29部分]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/155107557</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/155107557</guid><author>qq_38334677</author><pubDate>Sat, 22 Nov 2025 16:53:36 +0800</pubDate><description><![CDATA[本文聚焦容器化、K8s与MLOps的进阶实践，针对GPU资源管理、容器编排和模型部署等核心问题提供解决方案。主要内容包括：K8s中GPU独占配置、Docker运行时设置、节点亲和性应用、Dockerfile构建优化、显存监控与泄漏识别、Pod驱逐处理、共享存储加速、共享内存配置、Operator应用以及健康检查等生产环境关键问题。特别强调了大模型训练场景下的性能优化和稳定性保障措施，如Gang调度、网络模式选择和CI/CD中的模型评估阻断机制。这些实践经验对于高效利用GPU资源和确保ML系统稳定运行具有重要]]></description><category></category></item><item><title><![CDATA[1000道算法工程师面试题（大模型）—— 第28部分]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/155107550</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/155107550</guid><author>qq_38334677</author><pubDate>Fri, 21 Nov 2025 17:35:10 +0800</pubDate><description><![CDATA[多模态大模型技术解析 本文聚焦多模态大模型(Llava/Qwen-VL等)的关键技术问题。主要内容包括： 视觉编码器对比：CLIP与SigLIP在高分辨率处理上的差异，SigLIP在细节保留方面表现更优 工程优化：部署策略(推荐vLLM/TensorRT)、量化注意事项(ViT需保持FP16)、显存分配问题(KV Cache是瓶颈) 核心组件：Projector层的作用(维度/语义空间对齐)、高分辨率处理方案(全局+局部切片策略) 特殊场景优化：视频理解需时序处理、幻觉抑制方法、语音模态对齐技术、工业领域微]]></description><category></category></item><item><title><![CDATA[1000道算法工程师面试题（大模型）—— 第27部分]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/155107531</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/155107531</guid><author>qq_38334677</author><pubDate>Fri, 21 Nov 2025 17:34:23 +0800</pubDate><description><![CDATA[答案：优先检查数据质量。Reward Model (RM) 对数据噪声极其敏感。如果标注员（Annotators）之间的一致性（Inter-Annotator Agreement）很低，神仙架构也救不回来。指的是 Policy Model 找到了一种“作弊”方法，生成一些人类看不懂或者毫无逻辑的文本，但恰好利用了 Reward Model 的漏洞，骗取了高分。RM 偏好长文本，模型就开始无限重复废话；RM 偏好某些关键词，模型就疯狂堆砌这些词。答案：通常是对“最后一句话”打分。输入，模型输出。]]></description><category></category></item><item><title><![CDATA[1000道算法工程师面试题（大模型）—— 第25部分]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/155107513</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/155107513</guid><author>qq_38334677</author><pubDate>Fri, 21 Nov 2025 17:33:26 +0800</pubDate><description><![CDATA[这 100 道题涵盖了从语言基础、框架原理、推理加速、训练微调、硬件底层到工程落地的全链路知识。如果你能流畅、自信地回答其中 80% 的问题，并且能结合你简历里的项目（比如那个“五邑大学 Qwen 项目”和“AITalkingKeyboard”的实战坑），你对于面试官来说就是一个即插即用、具备全栈解决问题能力的高级候选人。]]></description><category></category></item><item><title><![CDATA[1000道算法工程师面试题（大模型）—— 第24部分]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/155107479</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/155107479</guid><author>qq_38334677</author><pubDate>Fri, 21 Nov 2025 17:32:37 +0800</pubDate><description><![CDATA[硬件与国产算力适配摘要 本文针对底层硬件和国产化适配的关键问题进行了深入解析，涵盖CUDA编程、国产AI芯片开发、算力迁移痛点及性能优化等方面。在CUDA方面，重点讲解了Kernel Launch设计原则、Stream优化和Unified Memory的适用场景。对于国产芯片，详细分析了昇腾NPU架构特点、算子开发方式、调试工具使用以及精度对齐问题。同时指出了国产卡运行大模型的主要痛点在于调试困难和报错不透明，而非单纯的算子缺失。在多机通信方面，对比了NCCL和HCCL的环境配置差异。全文提供了大量实用的性]]></description><category></category></item><item><title><![CDATA[1000道算法工程师面试题（大模型）—— 第23部分]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/155107411</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/155107411</guid><author>qq_38334677</author><pubDate>Fri, 21 Nov 2025 17:31:12 +0800</pubDate><description><![CDATA[摘要： 本文总结了LLM训练与微调中的46个实战问题，涵盖LLaMA-Factory/DeepSpeed工具使用、显存优化、并行训练等核心场景。重点包括：ZeRO显存切分策略的通信权衡、LoRA微调节省显存90%的实操配置、国产卡混合精度训练溢出解决方案、Megatron-LM的3D并行实现原理，以及训练中断恢复必须加载优化器状态等关键经验。特别强调数据质量对Loss稳定的决定性影响，并给出QLoRA 4bit量化训练、词表扩容初始化等具体实施方法。]]></description><category></category></item><item><title><![CDATA[1000道算法工程师面试题（大模型）—— 第22部分]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/155107367</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/155107367</guid><author>qq_38334677</author><pubDate>Fri, 21 Nov 2025 17:28:55 +0800</pubDate><description><![CDATA[大模型推理与加速技术要点 本文总结了vLLM、SGLang、MindIE等框架的核心技术原理与实践经验。重点包括： 显存优化：PagedAttention通过分块管理KV Cache解决显存碎片问题 批处理优化：Continuous Batching动态调度提升GPU利用率 长文本处理：SGLang的Radix Attention优化共享前缀复用 硬件适配：昇腾卡部署时的算子兼容性解决方案 量化技术：AWQ与GPTQ量化方法的比较及实际应用注意事项 并行策略：单机多卡场景下Tensor Parallelis]]></description><category></category></item><item><title><![CDATA[1000道算法工程师面试题（大模型）—— 第21部分]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/155107304</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/155107304</guid><author>qq_38334677</author><pubDate>Fri, 21 Nov 2025 17:27:00 +0800</pubDate><description><![CDATA[本文总结了Python与深度学习框架基础的20个面试问题及参考答案，主要涵盖Python多线程、PyTorch数据加载、自定义反向传播、MindSpore与PyTorch对比、梯度爆炸排查、生成器优势、DP与DDP区别、装饰器使用、内存泄露排查、深拷贝/浅拷贝陷阱、模型保存方式等核心知识点。答案结合工程实践，提供了性能优化、问题排查和生产环境最佳实践方案，如使用多进程规避GIL锁、优化数据加载速度、处理不可导操作、监控梯度爆炸、惰性处理大规模数据、选择DDP并行训练等实用技巧。]]></description><category></category></item><item><title><![CDATA[1000道算法工程师面试题（大模型）—— 第20部分]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/155107271</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/155107271</guid><author>qq_38334677</author><pubDate>Fri, 21 Nov 2025 17:24:40 +0800</pubDate><description><![CDATA[我认为优秀的大模型工程师是“算法理解 + 系统工程 + 产品思维”的六边形战士。]]></description><category></category></item><item><title><![CDATA[1000道算法工程师面试题（大模型）—— 第19部分]]></title><link>https://blog.youkuaiyun.com/qq_38334677/article/details/155107246</link><guid>https://blog.youkuaiyun.com/qq_38334677/article/details/155107246</guid><author>qq_38334677</author><pubDate>Fri, 21 Nov 2025 17:23:40 +0800</pubDate><description><![CDATA[大模型系统架构与成本优化摘要 本文探讨大模型系统的架构演进与成本优化策略。在架构方面，建议分阶段实现多模型支持：先抽象网关层，再建立模型注册中心，最终实现多区域部署。面对GPU资源紧张，可从模型量化、架构缓存和业务分级三方面降本。成本监控需关注GPU使用率、Token消耗等指标，并建立多维标签体系。对于流量波动明显的场景，建议结合弹性伸缩与离线任务调度实现资源最大化利用。系统扩展至亿级调用时，需重构网关、存储和推理层。设计上应采用适配器模式避免平台耦合，并通过日志、指标和链路追踪实现全链路可观测性，使用统一]]></description><category></category></item></channel></rss>