- 博客(13)
- 收藏
- 关注
RSS订阅原创 从Deep Agent 到Agent Loop
Agent Loop 的本质不是让 Agent"更聪明"，而是让 Agent"更可靠"。Autoresearch 通过客观指标让 Agent 的决策可验证；Humanize 通过对抗评审让 Agent 的产出可信任；Codex 通过基础设施让 Agent 的运行可规模；Deep Agents 通过协作编排让 Agent 的复杂任务可管理。人类从"写代码的人"转变为"定义约束的人"——定义什么是好的代码（验收标准）、定义什么是安全的操作（沙箱规则）、定义什么是正确的方向（评估指标）。
2026-06-17 20:31:00
387
原创 Agent的程序状态
本文介绍了Agent程序状态的概念及其在旅游规划Agent中的应用。程序状态是Agent维护的结构化工作内存，分为任务层（目标、计划、数据）和执行层（当前节点、工具列表）。通过一个旅游规划Agent实例展示了如何用程序状态跟踪任务进度，包括规划、执行和总结三个节点。文中强调程序状态通常不直接放入模型上下文，而是作为结构化信息用于决策，这既能降低token消耗，又能避免模型误判。实例代码展示了状态更新机制和可视化方法，最终输出包含天气、机票等信息的旅游建议。
2026-05-29 18:32:04
231
原创 Agent的短期记忆
LLM本身是完整无状态的，本质上是在做概率预测，输出合适的token和答案，每一次调用LLM都是一个独立的推理请求。而Agent工程，构造了“记忆”和“状态”，在每次调用LLM的时候，把它维护的“记忆”和“状态”喂给模型，成为模型的上下文，让模型能够观察到当前Agent系统的运行状态。而Agent工程内存方面可以分为三层：短期记忆、程序状态、长期记忆。
2026-05-29 17:09:25
157
原创 LORA微调
摘要：LoRA（低秩自适应）是一种高效的大模型微调方法，通过低秩分解增量矩阵（分解为A、B两个小矩阵）来减少训练参数（通常仅为原参数的0.01%-3%）。该方法在Transformer的注意力层和前馈层应用，保持原始参数不变，仅微调少量参数即可达到全量微调95%的效果，具有参数少、速度快、模块化（可随时移除）等优势。HuggingFace的LoraConfig支持灵活配置秩(r)、缩放系数(alpha)、目标模块等参数。进阶优化方法包括LoRA+（差异化学习率）、DoRA（幅度方向分解）、rsLoRA（动态
2026-04-19 19:04:34
419
原创 模型的量化
大模型量化技术综述 量化技术通过降低模型参数的精度（如将FP32转为INT8/INT4），显著减少模型存储需求、提升推理速度，并支持资源受限设备的部署。核心方法包括： 量化类型：分为对称量化（以0为中心）和非对称量化（适应非对称数据），后者通过零点映射提升精度。 粒度选择：Per-tensor（全局共享参数）、Per-channel（逐通道优化）和Per-group（分组平衡效率与精度）。 主流算法： AWQ：基于激活分布保护关键权重，适合边缘设备，支持4/8位静态量化。 GPTQ：训练中量化权重和梯度，减
2026-04-19 15:23:59
399
原创 GRPO算法
GRPO算法通过组内相对奖励机制优化强化学习训练过程，显著降低了计算复杂度。其核心改进在于：1）用组内平均奖励替代传统GAE计算，省去价值模型训练；2）将KL约束显式纳入目标函数；3）采用组内标准化优势计算（奖励减去组内均值后除以标准差）。但存在两个关键争议点：长度归一化可能导致模型偏好短文本生成，因长文本梯度贡献被稀释；标准差计算可能造成优势值被异常压缩或放大，甚至出现除零风险。这些设计选择虽然提升了效率，但可能影响模型生成质量和训练稳定性。
2026-04-17 18:17:50
683
原创 PPO算法
PPO算法原理与应用摘要 PPO（近端策略优化）是一种强化学习算法，通过裁剪概率比和KL散度约束优化策略更新，解决训练不稳定问题。其核心流程包括：1）模型生成回复response；2）奖励模型评分；3）通过Active模型和参考模型计算KL散度，结合奖励优化策略。PPO采用裁剪目标函数（限制更新幅度）和自适应KL惩罚（动态调整系数）来平衡探索与稳定性，并通过广义优势估计（GAE）计算优势函数，减少方差。伪代码展示了从数据采样、奖励计算到PPO更新的完整过程，最终输出优化后的策略模型。该算法在保证训练效率的同
2026-04-16 20:44:34
750
原创 强化学习的基础概念
本文介绍了强化学习的基础概念和发展历程。强化学习是一种通过智能体与环境交互来最大化奖励的机器学习方法，其核心在于序列决策过程，智能体通过状态观测、动作执行和奖励反馈不断优化策略。与监督学习不同，强化学习不需要标注数据，具有超越人类表现的潜力。文章详细阐述了强化学习的组成要素（策略、价值函数、模型）、智能体类型（基于价值和基于策略）以及学习方式（有模型和免模型），并探讨了探索与利用的平衡问题。强化学习已应用于机器人训练等领域，深度强化学习的出现进一步推动了该技术的发展。
2026-04-15 22:29:01
328
原创 Agent的工具创建
工具的组成：名称str提供给LLM，以Tools的形式传给LLM描述str描述工具功能，被LLM或者Agent作为上下文对传入tool的参数起约束和规范作用boolean当它为True时，工具返回值作为Agent输出，而非经过LLM总结推理。
2026-03-04 18:57:47
81
原创 LangChain RAG入门
1.概念：为各种LLMs提供通用接口，把LLMs相关的组件链接在一起，简化LLMs应用的开发难度，方便开者快速的开发复杂LLMs的应用。2.主要功能：（1）Prompts提示词工程（2）调用各种LLM（3）管理会话历史记录memory（4）管理分析文档（RAG构建向量数据库）（5）工具链（6）构建Agent。
2026-01-31 19:20:15
328
原创 微调与RAG
（3）句子窗口检索：将文档里的每个句子拿出来作为一个单元，进行Embedding，然后用户输入向量和每个句子向量进行相关性计算，然后取相关性高的句子，把其对应的上下N个句子（包括它）和输入向量作为新的提示词，输给LLM。思想：将筛选出来的文档，输入向量每次融合一个知识块，给LLM预测，得到的答案再和下一个知识块融合，再给LLM，......，这样依此串行调用LLM。1.概念：在生成回答前，动态检索外部知识库的相关文档（信息检索），将这些文档作为上下文输入给模型，从而解决模型（静态化储存）的知识盲区问题。
2026-01-26 18:52:56
1007
原创 HuggingFace模型微调教程
概述：HuggingFace是一个提供大量预训练模型、数据集、工具链等的平台，本文主要是示例HuggingFace的Datasets、Tokenizers和Transformers的使用。我们加载完后，查看二者的type类型名，然后在HuggingFace的文档（Docs）里的Transformers可以查看forward参数说明和示例，以此查看我们所需的参数。.map()是Datesets的核心方法之一，支持对一个或者批量的数据进行统一处理，包括数据增强、数据切分、数据转换等。适用于Dataset。
2026-01-21 16:16:11
534
原创 双向RNN实现智能文本预测
本文介绍了一个基于单层双向RNN的中文词语预测系统。项目从贴吧对话数据中提取dialog部分作为训练数据，经过jieba分词处理后构建词表。模型采用嵌入层(128维)-RNN层(256隐藏单元)-线性层的结构，使用交叉熵损失函数和Adam优化器进行训练。实验结果显示，在测试集上Top-1准确率为32.99%，Top-5准确率为58.82%。系统支持输入文本后预测后续5个最可能的候选词，但由于训练数据规模限制，性能仍有提升空间。整个流程包含数据预处理、模型构建、训练评估和预测应用四个主要环节。
2025-12-10 18:08:42
431
【自然语言处理】基于Transformer的文本表示与序列建模：从词嵌入到预训练模型的全流程系统设计
2026-01-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人