- 博客(652)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 企业如何建立 AI Native Software Engineering（AI 原生软件工程）
本文系统阐述了企业如何构建AI原生软件工程体系，面向技术管理者与架构师提供完整的转型框架。课程包含三大核心模块： 范式迁移：从传统开发到AI Native的8维本质变化，强调Context Engineering的核心地位，基于2026年行业数据（48%代码AI生成）分析转型必要性。 岗位变革：详细分析7类岗位（后端/前端/测试等）的冲击矩阵与转型路径，提出3个新兴关键岗位（AI架构师/平台工程师/Context工程师）的能力模型。 工程体系：构建六大核心体系（Spec/Context/Rules/Skil
2026-05-20 09:29:19
297
原创 Ray-深度学习Ray系统大纲
大纲可帮助您深入了解Ray的核心概念、实现原理和应用场景。您可以逐一学习每个主题，并进一步探索Ray的细节和高级功能。在学习过程中，可以查阅Ray的官方文档和相关的学术论文以获取更多详细信息。与其他框架和工具的集成（例如机器学习框架）调度器（Scheduler）的角色和功能。任务（Task）的概念和任务调度。Actor模型和Actor的执行。任务之间的依赖关系和任务调度策略。Actor之间的通信和消息传递。Ray的基本概念和核心组件。Ray的开源社区和贡献机制。任务的状态管理和错误处理。
2023-05-23 11:11:11
607
原创 赢在优快云｜推掉，规矩不能坏：写了13年代码，我的文章贵点但读了不烧心
13年深耕优快云，坚持原创609篇，不为流量，只为“读了不烧心”。立下三条铁规：拒标题党、保质量、重落地。所有内容皆源自生产实战，可验证、可复用。贵在真实，赢在信任。通过高质量付费专栏反哺技术成长，助力开发者少走弯路。未来将继续深耕AI原生工程，以规矩立身，让技术分享真正有价值。
2026-11-02 17:12:34
181
原创 中国顶尖大模型对比评测：GLM-5.3、Qwen3.8-max、Kimi-K3、MiniMax-M3 与 豆包 2.1 Pro
中国顶尖大模型对比评测：GLM-5.3、Qwen3.8-max、Kimi-K3、MiniMax-M3 与 豆包 2.1 Pro**对2026年中国大语言模型（LLM）市场的五款旗舰级产品——智谱AI的GLM-5.3、阿里巴巴的Qwen3.8-max、月之暗面的Kimi-K3、稀宇科技的MiniMax-M3以及字节跳动的豆包大模型2.1 Pro——进行一次全面、深入的横向对比分析。研究发现，2026年的LLM市场已进入“万亿参数”与“原生多模态”双轮驱动的时代，各家厂商在技术路线、能力侧重、商业模式上展现
2026-08-27 14:46:09
851
原创 生产环境部署Qwen3.8-27B全流程
## 生产环境部署Qwen3.8-27B全流程1. **硬件选型：** 如何根据模型精度（FP16/BF16, FP8, INT4）精确计算并选择合适的GPU显存、CPU与系统内存配比。
2026-08-27 14:21:52
262
原创 第9章 面试精讲——推理核心概念与高频考题
面试不是考你背了多少，而是考你能不能把零散的知识点串成一条线。推理面试的核心线只有一条：memory-bound。
2026-08-25 13:34:55
468
原创 第8章 vLLM实战——生产部署与性能调优
前面7章讲了原理，这一章动手。从pip install到生产服务，从量化部署到性能调优，从OOM排查到多卡扩展——这一章覆盖vLLM实战的完整链路。
2026-08-25 13:33:56
387
原创 第7章 量化技术——从GPTQ到AWQ的精度与效率博弈
量化是将高精度数值（FP32/FP16）映射到低精度（INT8/INT4/FP8）的过程。对LLM推理而言，量化主要针对模型权重FP16权重: [0.1234, -0.5678, 0.9012, -0.3456, ...] ← 每个值2字节INT4权重: [3, -7, 5, -4, ...] ← 每个值0.5字节映射关系通过量化参数量化: x_int = round(x_fp / scale + zero_point)反量化: x_fp = (x_int - zero_point) × scale。
2026-08-25 13:33:16
88
原创 第6章 TensorRT-LLM——NVIDIA的下一代推理方案
维度vLLMTGI核心创新Hub集成编译优化KV Cache管理预分配预分配Batching不支持不支持不支持量化手动配置模型支持HF模型广泛HF模型手动适配HF模型+ONNX部署方式pip/DockerDockerC++集成编译+TritonGPU支持NVIDIA GPUNVIDIA GPUNVIDIA GPU仅NVIDIA GPU性能吞吐最优中等Kernel最优延迟最优易用性高最高低中维护状态活跃活跃已停止活跃。
2026-08-25 13:31:52
134
原创 第5章 FasterTransformer——NVIDIA的推理加速引擎
FasterTransformer用Kernel Fusion把GPU推理推向极限，但它不支持Continuous Batching，不支持PagedAttention，最终被TensorRT-LLM取代。理解它的价值，才能理解TensorRT-LLM的设计。
2026-08-25 13:31:20
129
原创 第4章 TGI——HuggingFace的推理服务方案
你有一个HuggingFace模型，想最快地部署成推理服务。TGI就是为此而生——一行Docker命令，模型从Hub到API。
2026-08-25 13:29:07
181
原创 第3章 vLLM——PagedAttention的工程实现与架构解析
vLLM架构解析与PagedAttention实现 vLLM作为首个将显存管理作为核心创新的推理框架，其架构围绕KV Cache高效管理和并发请求调度设计。核心组件包括： LLMEngine协调调度器、块管理器和执行器 PagedAttention通过分块机制管理KV Cache，采用16token/块的默认配置 BlockManager实现逻辑块到物理块的映射，支持Copy-on-Write共享 调度系统采用抢占式策略，优先保障解码请求 关键技术亮点： 类操作系统虚拟内存的分块管理机制 专用CUDA Ke
2026-08-25 13:27:04
287
原创 第2章 推理优化技术——KV Cache、PagedAttention与Continuous Batching
KV Cache占了推理显存的大头，但传统管理方式浪费了其中30%-40%的空间。PagedAttention让显存利用率从60%飙升到95%以上，Continuous Batching让吞吐提升2-4倍。这些优化的底层逻辑是什么？
2026-08-25 13:26:28
240
原创 第1章 LLM推理全景——从训练到推理的范式转换与核心瓶颈
本文分析了大型语言模型(LLM)推理过程中的核心瓶颈与优化方向。关键点包括： 训练与推理的本质差异：训练是计算密集(compute-bound)，推理的解码阶段是内存带宽密集(memory-bound)，导致GPU利用率从90%骤降至5-10%。 推理两阶段特征： Prefill阶段：计算密集，处理整个prompt，GPU利用率高 Decode阶段：内存带宽密集，逐个生成token，算术强度极低 KV Cache显存占用成为主要瓶颈，其大小与模型层数、序列长度和批量大小成正比，甚至可能超过模型权重本身。 推
2026-08-25 13:25:45
176
原创 策略选择与混合精度——从决策树到 FP16/BF16
本文摘要： 本文系统介绍了分布式训练并行策略的选择方法及混合精度训练技术要点。主要内容包括： 并行策略决策树，针对单机单卡、单机多卡和多机多卡不同场景提供选型建议 深入分析ZeRO与流水线并行(PP)的兼容性问题，指出ZeRO-1+PP+TP是最稳定的3D并行组合 对比FP16与BF16混合精度训练的优缺点，建议10B规模以下用FP16，10B以上优先选择BF16 提供训练稳定性最佳实践，包括梯度裁剪、学习率预热和损失缩放等技术 文章特别强调，在大模型训练中，BF16凭借更大的数值范围能有效避免溢出问题，而
2026-08-18 15:22:28
208
原创 MOE 并行——稀疏专家的分布式策略
本文介绍了混合专家模型（MOE）的分布式并行策略。MOE通过稀疏激活机制，每个Token仅路由到少数专家进行计算，在几乎不增加计算量的情况下实现模型规模的指数级扩展。文章详细分析了MOE的核心组件（专家网络、门控路由、负载均衡）和多种并行策略（专家并行EP与数据并行DP、张量并行TP等的组合），重点讨论了All-to-All通信模式带来的挑战。通过对比Switch-Transformer和GLaM两种典型实现，阐明了不同路由策略的优劣。最后指出MOE在通信瓶颈、负载均衡、训练稳定性和推理效率等方面面临的挑战
2026-08-18 15:21:58
70
原创 自动并行——从半自动到全自动的搜索之路
文章摘要： 自动并行技术旨在解决大模型分布式训练中手动配置并行策略的困境，包括搜索空间巨大、规则不通用和评估成本高等问题。现有方案分为半自动（如Mesh-TensorFlow、GSPMD）和全自动（如FlexFlow、Alpa）两类。半自动方案依赖用户标注切分意图，编译器推导通信；全自动方案通过模拟代价模型搜索最优策略，但面临精度不足、搜索耗时和调试困难等挑战。目前工业界仍以手动配置为主，自动并行受限于代价模型精度和动态适应性，但其作为未来方向，需结合更优算法、编译器集成和人机协同。自动并行虽未大规模落地，
2026-08-18 15:21:20
210
原创 多维混合并行——3D 并行策略与业界大模型实践
本文摘要： 混合并行是训练超大规模模型（百亿至千亿参数）的核心技术方案。文章系统分析了三种基础并行策略的局限性：数据并行(DP)受显存限制、流水线并行(PP)存在计算空泡、张量并行(TP)依赖高带宽通信。针对这些限制，提出了3D并行框架（DP+PP+TP）的组合策略：TP在节点内拆分单层参数，PP在节点间分配模型层，DP实现全局数据并行。文章详细阐述了3D并行的层级结构设计原则（高频通信对应高带宽拓扑）、并行度分配方法，并分析了ZeRO与PP/TP的兼容性问题（推荐ZeRO-1+PP+TP组合）。最后列举了
2026-08-18 15:20:45
138
原创 序列并行——两种同名却异构的并行策略
本文系统分析了两种不同的"序列并行"(Sequence Parallelism)技术：Colossal-AI的方案专注于处理超长输入序列，通过Ring Attention技术切分序列维度，使模型能处理128K+长度的序列；而Megatron-LM的方案则针对激活值显存优化，在张量并行组内切分激活值的序列维度以减少冗余存储。两种方案虽然名称相同，但解决的问题、实现方法和应用场景截然不同。文章详细对比了两者的技术特点，并指出它们可以互补使用。最后强调在实际应用中需要明确区分这两种技术方案。
2026-08-18 15:20:12
139
原创 张量并行——从 1D 切分到 3D 并行的内存与通信博弈
摘要（150字） 张量并行是解决大模型层内参数显存不足的关键技术，通过将权重矩阵切分到不同设备实现内存优化。1D并行（如Megatron-LM）采用列并行和行并行组合，每个Transformer层仅需一次AllReduce；2D并行（Colossal-AI）进一步切分激活值，但通信量增加；2.5D和3D并行通过多维设备网格和冗余设计降低通信开销，适用于超大规模场景。PyTorch 2.0已原生支持1D并行。技术演进本质是内存与通信的权衡，1D因通信高效仍是主流，通常限于单节点内以利用高速互联。
2026-08-18 15:19:31
185
原创 流水线并行——从朴素分片到 1F1B 的效率革命
本文系统介绍了流水线并行（Pipeline Parallelism）技术的演进历程及其核心优化思路。当模型过大无法单卡存放时，流水线并行通过按深度切分模型层到不同设备来解决显存问题。文章首先区分了流水线并行与张量并行的差异，重点分析了朴素流水线方案存在的严重设备闲置（Bubble）问题。随后详细讲解了GPipe引入的微批次机制和F-then-B模式，虽能降低Bubble率但需缓存大量中间激活值。进一步介绍了PipeDream提出的1F1B调度模式，通过前向反向交叉计算显著减少显存占用，并讨论了权重一致性问题
2026-08-18 15:18:57
174
原创 数据并行——从 DataParallel 到 ZeRO 的演进之路
数据并行技术从DataParallel到ZeRO的演进解决了大模型训练的显存瓶颈问题。早期DataParallel存在通信负载不均、GIL限制等缺陷；DistributedDataParallel采用多进程架构和Ring-AllReduce算法，优化了通信效率但仍需完整存储模型副本；FullyShardedDataParallel和ZeRO通过参数、梯度、优化器状态的分片策略，将显存需求从单卡完整存储降低为按比例分片存储，使大模型训练成为可能。其中ZeRO三阶段分片策略系统性地消除了数据冗余，显著提升了训练
2026-08-18 15:18:23
173
原创 第6章 确定性重放与可观测性
文章摘要：Agent系统的可观测性是实现从实验到生产的关键能力，主要解决LLM输出不可预测带来的"黑盒"问题。通过Trace（记录完整调用链）、Metric（量化系统行为）和Log（记录事件细节）三大支柱，构建可观测性体系。OpenTelemetry标准可用于实现全链路追踪，而WAL（预写日志）技术则确保状态变更的可追溯性。可观测性分为三个递进层次：可观测（了解系统行为）、可调试（检查历史步骤）和可重放（复现执行过程），为Agent系统的调试和优化提供基础支撑。
2026-08-17 10:43:04
31
原创 第5章 多 Agent 协作与任务编排
本文探讨了多Agent协作系统的设计与实现，重点分析了三种协作拓扑结构及其适用场景。文章首先指出单Agent系统的三大瓶颈：上下文膨胀、能力边界和效率限制，进而提出多Agent协作的分治+隔离+汇聚思想。 核心内容包括： 三种协作模式对比：Supervisor层次化管理适用于复杂任务协调；Sequential流水线适合多步骤处理；Peer-to-Peer平等对话灵活性高但协商成本大 关键技术实现：将子Agent抽象为工具函数，保持上下文隔离和日志抹平，支持Map-Reduce并行控制 原生实现方案：通过Py
2026-08-17 10:42:21
252
原创 第4章 网关、通道与多模态接入
文章摘要：Agent 系统的网关层设计 网关层在Agent系统中承担核心中介角色，主要解决三个关键问题： 多渠道适配：通过适配器模式统一不同渠道（Telegram/Slack/Web等）的消息格式，转换为标准内部事件流，使Agent核心逻辑与输入源解耦。 会话隔离：基于session_id路由和Redis分布式锁机制，确保多用户并发访问时的会话隔离和消息顺序处理，防止数据交叉。 流式通信：支持SSE/WebSocket实现用户与Agent的双向实时交互，包含三种追加输入处理策略（合并/打断/排队）以适应不同
2026-08-17 10:41:43
102
原创 第3章 工具沙盒化与安全执行引擎
文章摘要（150字内）： 工具沙盒化是确保AI代理（Agent）安全执行外部操作的关键机制。由于LLM输出不可预测，直接执行其生成的命令可能导致数据破坏、安全泄露等问题。安全执行分为三个层次：协议层（标准化工具调用，如JSON Schema）、隔离层（通过Docker/Firecracker隔离环境）、分析层（静态分析拦截高危操作）。核心方案包括工具暴露协议（如MCP）、容器化隔离（限制资源与权限）、AST/正则分析（阻断危险指令），以及实时日志监控与超时控制。目标是让Agent既能完成任务，又无法造成危害
2026-08-17 10:41:00
107
原创 第2章 上下文与记忆管理——Token 预算、压缩与分级存储
本文探讨了大语言模型(LLM)在Agent系统中的上下文管理策略。主要内容包括： 管理必要性：LLM存在上下文窗口限制，不加管控会导致API报错、成本失控和推理质量下降。 三层管理策略： Token预算：实时计算防止越界 上下文压缩：摘要替换保留关键信息 分级存储：构建多层次记忆系统 核心技术： 精确Token计算(tiktoken库) 滑动窗口剪枝与动态压缩 结构化摘要生成算法 系统/短期/长期三级记忆架构 这些技术协同工作，在有限上下文窗口内最大化信息保留，同时控制API成本，保障Agent系统的稳定运
2026-08-17 10:40:14
471
原创 第1章 Agentic Loop 与状态机控制——从 while 循环到 LangGraph
本文讨论了Agentic Loop的概念及其必要性，分析了单次LLM调用的局限，并介绍了ReAct模式如何通过推理与行动交替解决复杂任务。文章重点阐述了Agentic Loop作为生产级系统的工程实现，包括状态机的确定性生命周期管理、四种熔断断路器机制（防止死循环和资源耗尽）、人工介入（HITL）审批流程，以及状态转换的合法性校验。这些机制共同构成了一个可靠、可控的智能代理系统框架，使LLM能够安全高效地执行多步骤任务，同时避免无限递归、状态死锁和安全风险。
2026-08-17 10:39:16
100
原创 离职带走什么关系、留下什么关系、如何平稳交接
摘要：离职过渡期的横向关系管理策略 本文是横向生存系统的终章，聚焦于离职时的关系资产处理与交接策略。核心内容包括： 关系资产分类处理： 带走高价值关系：技术同盟（2-3人）、跨部门关键联系人（3-5人）和行业人脉，通过低频持续互动维护 保留中性关系：安全中立者和一般协作方，保持礼貌弱连接 切断有毒关系：关系户/竞争者、领导眼线和有毒直属领导，采取自然疏远策略 离职前关键动作： 严守保密原则，仅向必要人员透露 采用统一离职口径（"个人发展原因"） 与技术同盟进行非正式告别 交接期专业策略： 对领导：配合交接不
2026-08-14 09:16:52
114
原创 别让工作掏空你的情绪
文章摘要（149字）： 技术人在有毒职场中易陷入burnout（情绪耗竭、去人格化、成就感丧失），源于完美主义被利用、埋头干活陷入恶性循环及社交孤立。本章提出三层情绪隔离带：1）物理隔离（切断非工作时间联系，划分空间边界）；2）认知隔离（建立独立价值评价体系，用"去中心化"技术摆脱反刍思维）；3）社交隔离（构建工作外支持系统，分级管理倾诉对象）。技术人可借助开源项目、兴趣社群等专属出口重建掌控感，保护心理健康同时维持"潜伏拿资源"策略的可持续性。
2026-08-14 09:15:40
145
原创 工作中不想站队的人怎么不被排挤
职场政治避坑指南：如何在站队压力下保持中立 摘要：本文针对职场中常见的站队压力问题，提出了一套保持政治中立的实用策略。通过分析三种典型站队陷阱（小组对立、新旧员工分化、嫡系边缘化）及其风险，指出不站队的长期价值。文章提供了具体应对技巧：会议中转移敏感话题、非正式场合礼貌退出、群聊中谨慎回应。同时强调保持适度参与的必要性，包括技术讨论、基础社交和互惠行为。最后给出三级脱身话术模板，帮助读者在不表态的情况下全身而退。这些方法共同构成了一套完整的职场中立生存策略，既能避免卷入政治斗争，又不会因完全孤立而被边缘化。
2026-08-14 09:14:38
296
原创 跨部门通道——绕过直属领导的信息与口碑网络
本文摘要： 《跨部门通道——绕过直属领导的信息与口碑网络》揭示了技术岗突破直属领导控制的三大核心策略： 信息通道：通过接口协作、技术中台维护及技术社区参与，获取战略信息与潜在机会； 协作通道：以高质量文档、快速响应和故障专业处理建立跨部门信任； 评价通道：通过署名贡献、技术分享和社区建设积累独立口碑。 关键安全原则包括保持专业距离、避免抱怨领导、留存可追溯的工作痕迹。技术岗可借天然协作场景（如接口对接、组件维护、故障复盘）低成本构建跨部门影响力，形成直属领导无法封锁的"第二生命线"。
2026-08-14 09:13:43
214
原创 基于代码和Review的安全人脉社交
技术同盟：程序员的职场安全网络 在有毒的职场环境中，技术讨论成为建立安全同盟的最佳土壤。本章提出了一套四阶段技术同盟构建模型： 技术认可阶段（1-2个月）：通过高质量的Code Review和有深度的技术讨论建立专业形象 非正式协作阶段（2-3个月）：通过互相Cover任务和共同解决技术难题培养互惠关系 有限信任阶段（3-6个月）：在验证对方可靠性后，谨慎分享L2级信息 维护与边界阶段：保持技术互动主轴，避免过度情感依赖 关键策略包括：将Code Review作为社交工具、通过技术分享扩大影响力、建立互惠的
2026-08-14 09:03:44
144
原创 他抢你的活甩你的锅还拿A绩效
文章摘要 本文针对职场中的"关系户"问题，系统性地提出了防御策略。首先将关系户分为三类：硬后台型（领导亲属）、交易型（利益交换者）和表演型（马屁精），针对不同类型制定差异化应对方案。随后聚焦四大高频冲突场景——项目被抢、甩锅、绩效对比和挑唆，给出具体应对话术和行动指南，强调书面留痕、事实呈现、不接招等核心原则。最后提出与关系户共处的四大黄金法则：不竞争、不对抗、不依附、不留柄。全文突出实操性，帮助技术人员在保护自身权益的同时，避免陷入无效职场斗争。
2026-08-14 09:02:13
253
原创 一句闲聊如何毁掉你的晋升
本文摘要（150字）： 《信息防火墙——开发岗的"说什么、对谁说、说到什么程度"》揭示了技术人职场沟通中的致命盲区。文章通过两个真实案例，展示闲聊如何毁掉晋升机会，提出信息三级分类法：L1公开信息（技术细节等）、L2受限信息（对领导看法等，仅限验证盟友）、L3绝密信息（离职计划等，对所有人保密）。针对开发岗特有的六个高危场景（如技术群发言、加班交心等），提供具体防御策略和安全话术模板。最后给出安全/危险话题清单及10种试探场景的标准回应，帮助技术人员在复杂职场环境中保护自己，避免信息成为攻击弹药。
2026-08-14 09:01:27
224
原创 一眼看穿同事的四种面具
本章的核心目标，是让你从"对同事模糊的好恶"升级为"对每个人可操作的互动策略"。技术人擅长的"分类-映射-决策"思维，在人际分析中同样有效——你只需要把"人"当成另一种系统，观察输入（行为）、分析模式（象限）、制定输出（策略）。但识别只是第一步。知道了谁是眼线、谁是关系户，不等于知道该怎么说话。下一章，我们将建立信息分级防火墙，解决一个更具体的问题：在不同人面前，什么可以说、什么不能说、说到什么程度。进入第2章：信息防火墙——开发岗的"说什么、对谁说、说到什么程度"
2026-08-14 08:59:20
170
原创 在公司何时走、如何走、走后怎么处理
文章摘要： 本文探讨职场撤离的理性决策框架，提出四个评估维度（内部收益、内部损耗、外部机会、外部成本）构成撤离指数公式，量化分析是否离职。根据撤离指数划分四种决策模型：目标达成型、机会驱动型、止损型和被迫型，对应不同触发条件。最后提供低风险离职策略，强调"先拿Offer再辞职"原则，并给出离职话术模板与交接清单，帮助职场人最小化撤离风险。核心观点：撤离是目标达成的理性选择，需通过系统评估实现利益最大化。
2026-08-13 20:04:19
128
原创 当你的领导用绩效打压你时怎么办？
摘要： 当遭遇绩效打压时，需识别其程度（轻度模糊评价、中度不公、重度编造），并采取针对性策略：保留证据、量化产出、避免情绪对抗。核心目标并非争取公正评价（体系已失效），而是减少伤害、积累谈判筹码、为撤离做准备。绩效面谈中，以数据反驳模糊指责，要求具体改进标准并书面确认；若遭遇系统性迫害（如PIP），需停止自我怀疑，同步启动离职准备，优先保护身心健康。申诉需谨慎，仅在证据充分且通道安全时考虑，否则转为隐蔽防御，聚焦外部机会与法律维权准备。 关键点： 三级应对：从数据留痕（轻度）到平行可见性（中度）再到证据链整
2026-08-13 19:57:17
393
原创 建立不依赖你领导评价的外部技术身价
技术资产积累如同"货币"，但需通过市场验证其价值。在缺乏透明评价体系的环境中，外部市场定价权成为关键：定期面试练兵可获取真实身价参考，技术社区影响力（GitHub、博客）能提升专业可信度，行业人脉与猎头关系则提供市场动态情报。建议建立个人薪资基准表（3-6个月更新），分析技术栈稀缺性溢价（如云原生+30%），通过客观数据判断"继续沉淀"或"转换平台"的决策临界点，从而摆脱主观评价束缚，掌握职业发展主动权。（149字）
2026-08-13 19:55:35
206
Openvoice安装依赖，checkpoints-1226，frpc-linux-amd64，snakers4-silero
2024-01-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人