- 博客(7)
- 收藏
- 关注
RSS订阅转载 Transformer自回归关键技术：掩码注意力原理与PyTorch完整实现
这种掩码机制让GPT等模型能够逐词生成文本，每次预测都只基于已经生成的内容，这正是自回归语言模型的精髓所在。通过一个上三角掩码矩阵，就能让模型在训练时学会"单向思考"，这种设计的巧妙之处在于它完美平衡了计算效率和生成质量。从技术实现角度来看，整个过程其实就是在标准自注意力基础上加了一步操作。但正是这简单的一步，让模型具备了真正的文本生成能力。相比之下，BERT等双向模型虽然在理解任务上表现出色，但在生成任务上就显得力不从心。掌握了掩码注意力，你就理解了GPT、LLaMA等主流生成模型的核心工作原理。
2025-09-28 18:13:53
856
原创 AI智能体开发实战：17种核心架构模式详解与Python代码实现
在构建一个大规模 AI 系统时，我们其实就是在把不同的“智能体设计模式（agentic design patterns）”组合起来。不管系统多复杂都可以拆解成有限的几种"设计模式"。这些模式各有各的用法——有的专门负责思考优化，有的处理工具调用，有的管多智能体协作。主要就这么几类：多智能体系统让不同角色分工协作；集成决策让多个智能体投票选最优解；思维树（ToT）探索多条推理路径再择优；反思式架构能自我审视和改进；ReAct循环在思考与行动间迭代。
2025-09-28 18:12:54
807
转载 AI Agent工作流实用手册：5种常见模式的实现与应用，助力生产环境稳定性
这些结构化工作流彻底改变了LLM的使用方式。不再是随便抛个提示词然后碰运气，而是有章法地分解任务、合理分配模型资源、并行处理独立子任务、智能编排复杂流程，再通过评估循环保证输出质量。每种模式都有明确的适用场景，组合使用能让你更高效地处理各种复杂任务。可以先从一个模式开始熟悉，掌握之后再逐步引入其他模式。当你把路由、编排、并行处理、评估优化这些机制组合起来使用时，就彻底告别了那种混乱、不可预测的提示方式，转而获得稳定、高质量、可用于生产环境的输出结果。
2025-09-26 22:13:25
800
原创 Neural ODE原理与PyTorch实现：深度学习模型的自适应深度调节
对于神经网络来说，我们已经习惯了层状网络的思维：数据进来，经过第一层，然后第二层，第三层，最后输出结果。这个过程很像流水线，每一步都是离散的。但是现实世界的变化是连续的，比如烧开水，谁的温度不是从30度直接跳到40度，而是平滑的上生。球从山坡滚下来速度也是渐渐加快的。这些现象背后都有连续的规律在支配。微分方程就是描述这种连续变化的语言。它不关心某个时刻的具体数值，而是告诉你"变化的速度"。比如说，温度下降得有多快？球加速得有多猛？Neural ODE的想法很直接：自然界是连续的，神经网络要是离散的？
2025-09-26 22:12:48
1035
转载 机器人逆运动学进阶：李代数、矩阵指数与旋转流形计算
本文从理论到实践全面介绍了矩阵指数在机器人逆运动学中的应用。我们从SO(3)李群和𝖘𝖔(3)李代数的数学结构出发，解释了为什么旋转计算需要特殊的数学工具。通过流形和切空间的几何概念，我们理解了旋转矩阵导数的计算方法，并学会了使用反对称矩阵实现叉积运算。矩阵指数函数提供了精确的旋转更新方法，能够保证旋转矩阵在更新过程中始终保持正交性，避免了传统欧拉积分可能导致的数值不稳定问题。而矩阵对数则解决了逆向问题——如何计算从当前姿态到目标姿态所需的旋转误差和角速度。
2025-09-26 22:10:24
941
转载 AI智能体开发实战：从提示工程转向上下文工程的完整指南
定义一个显式schema（比如通过JSON Schema或类型化数据类）来强制包含关键字段，如。
2025-09-25 20:59:37
859
转载 为你的数据选择合适的分布：8个实用的概率分布应用场景和选择指南
分布选择其实就是在讲故事，讲数据是怎么产生的。从最简单合理的故事开始，老老实实验证效果，只有数据真的需要的时候才考虑更复杂的模型。
2025-09-25 20:58:58
671
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人