rstroller的博客

agent轨迹数据合成工程方案流程介绍

rstroller — Thu, 15 Oct 2026 11:56:04 +0800

本项目构建了Agent轨迹数据合成的闭环流程：以唯一原始记录池为底座，经验证器与评判器打分后，通过LabelStudio人工核查，实现“训练样本”“校准样本”“修复样本”三路分流。评判器仅具选择权，无写回权，确保训练数据纯净；黄金数据集冷启动、盲标冻结，杜绝污染。修复模块GDR仅生成新记录，不可覆盖旧数据，且修复轮数上限防自指优化。全流程遵循四条铁律：不改训练数据、不复用校准结果、人工盲标、只改评判器规则，形成人机协同、可追溯、抗污染的数据合成体系。

视频检索 Agent 数据合成项目的完整演进复盘：从六层补丁到薄编排

rstroller — Tue, 13 Oct 2026 11:11:37 +0800

本文记录“在线视频播放网址检索”Agent的SFT数据合成项目8周迭代历程：从六层补丁失效到架构转向，揭示纯LLM驱动路线在事实污染与循环验证陷阱下的根本缺陷。最终确立“LLM探索+环境执行+verifier过滤”范式，通过薄编排、三层评分与负样本纪律实现高质量轨迹生成。关键突破在于将决策权交还模型，同时以代码控制流程、数据化诊断、黄金集校准构建可扩展的验证闭环，推动项目从“数据量”转向“验证驱动”。

llama-server报错引出的三层缓存理解

rstroller — Tue, 08 Sep 2026 22:37:47 +0800

我们只需要根据要求，生成一段≤150字的摘要，内容来自用户提供的长文本。用户没有明确要求格式，但根据内容，应该是对问题、原因、处理方法的概括。要控制在150字以内。先阅读文本：主要讲llama-server在高并发大上下文下崩溃，原因是多slot下KV-cache序列化时访问未分配tensor，触发GGML_ASSERT。处理方法：--cache-ram0禁用promptcache，或--np改16。还提到缓存机制。摘要需突出要点。用简洁中文。注意字数。

Agent SFT 数据工程指南

rstroller — Sat, 22 Aug 2026 22:43:38 +0800

类别子能力核心说明意图理解与任务规划需求澄清、任务分解、动态重规划、目标追踪、优先级判断Agent 区别于普通 Chatbot 的核心，决定任务能否正确启动和调整工具使用与编排工具选择、参数构造、API 文档理解、多工具编排、结果解读、Skill 加载通常是数据占比最大的部分（25-30%），直接决定执行效率信息处理与推理信息提取、信息整合、事实核验、数值计算/代码推理、摘要生成连接工具执行与最终答案的桥梁执行控制与鲁棒性错误识别、错误恢复、超时/限流处理、循环检测与终止、状态管理、安全边界。

Agent 大模型蒸馏与合成数据指南

rstroller — Tue, 28 Jul 2026 22:43:45 +0800

本文系统梳理了工业级Agent模型蒸馏与数据合成的技术闭环，主要包含五大核心维度： Agent蒸馏范式：对比动态轨迹蒸馏（工业界主流）与静态指令蒸馏的优缺点，强调真实环境交互对逻辑迁移的关键作用。两阶段训练演进：提出"静态虚拟轨迹冷启动→真实环境轨迹精调"的渐进策略，并设计三层防御机制解决虚拟/真实数据间的知识冲突问题。自动化数据采集Pipeline：构建包含用户模拟器与环境校验器的自动化系统，详细说明任务元数据设计和轨迹完成度管理的最佳实践。人类专家知识注入：通过专家干预优化教师模型的试错轨迹，将隐

LLM 多 Token 预测（MTP）技术实践全指南

rstroller — Thu, 25 Jun 2026 23:06:10 +0800

摘要本文系统介绍了大语言模型(LLM)中Multi-Token Prediction(MTP)技术的完整实现路径。主要内容包括： MTP核心原理：通过同时预测多个未来token来增强模型表征能力和加速推理，相比传统单token预测(NTP)具有显著优势。架构改造：详细说明了如何添加轻量级Transformer模块实现MTP功能，包括特征融合、共享嵌入层等关键设计。训练策略：提供了16GB显存环境下的可行方案，如EAGLE-3架构选择、8-bit量化、梯度累积等技术。前沿技术：介绍了DFlash、D-

企业级 RAG 检索系统优化实践

rstroller — Sun, 14 Jun 2026 10:53:04 +0800

本文记录了在Weknora RAG系统中优化知识密集型检索的实践经验。通过对比不同模型性能，选择Qwen3-Embedding-4B（支持MRL降维）和Qwen3-Reranker-0.6B作为性价比最优组合，采用混合检索策略（向量+关键词RRF融合）和Milvus数据库，结合专业PDF解析与结构感知分块，使单库检索精确率提升5%-10%。文章还探讨了评估指标适配性，强调文档预处理的重要性，并提供了完整的配置方案和调优建议，为类似场景下的RAG系统优化提供了可复用的方法论。

Claude Code 工作流教程

rstroller — Fri, 29 May 2026 20:48:28 +0800

而动态工作流和并行 Task 的引入，则彻底解决了大规模探索性任务的效率瓶颈。1. `Task(subagent="codebase-scanner", prompt="扫描 /src 下的所有数据访问层代码，总结当前 ORM 使用情况，输出到 docs/research/orm.md")`4. `Task(subagent="best-practice", prompt="搜索最近两年的微服务拆分案例，总结 3 条可复用的设计模式，输出到 docs/research/patterns.md")`

agent并行多代码模块开发思考

rstroller — Sun, 24 May 2026 13:32:46 +0800

文档与知识沉淀 Agent，这个 Agent 的核心定位不是“写代码注释”，而是“提炼上下文，反哺人类与系统”。必须引入不写代码、只做审查的 Agent。四、关键问题应对策略 1. 如何约束单一职责原则属于语义层面，难以用纯代码精确断言，采用“物理特征截断 + AI 兜底”策略：物理截断：在 Lint 工具中配置硬性阈值，一旦 Agent 写出上帝类，直接阻断。融入 Agent 循环：Agent 每次写完代码，系统自动运行这些 Lint，如果报错，直接将报错打回给 Agent 修改，不让它提交。

工业级 LLM 数据蒸馏：从“数据生成”到“任务工程”

rstroller — Mon, 11 May 2026 21:31:45 +0800

【摘要】当前LLM研发的核心已从模型结构转向数据质量，关键在于通过任务工程构建高质量数据集。核心策略是从生成答案转向定义高价值任务，采用Self-Instruct方法进行递归扩展，结合约束条件和难度梯度控制。工业级实践强调多模型混合生成、风格扰动和真实数据锚定，防止模式坍塌。最终需构建覆盖多维度能力的任务体系，通过严格清洗和验证，打造高熵数据集。小团队应聚焦高价值任务密度而非规模，用数百个核心模式扩展出数万条优质数据，超越低质量大规模数据集。

ai llm训练数据合成说明

rstroller — Sun, 10 May 2026 22:17:37 +0800

1、合成数据阶段：从“生成”到“构建”结构化输出是核心：不要寄希望于模型的 Prompt 约束“自觉性”。在合成阶段，必须通过 Schema定义Pydantic或结构化协议强制模型输出格式。这能从根源上减少后续清洗的负担。元数据注入即正义：合成数据不应仅仅包含问题和答案。在合成阶段就通过 Prompt 引导模型自动生成元数据Metadata如：领域主题、难度等级、任务类型、事实性标记，是实现后续精细化分析的前提。防御性Prompt设计：针对合成任务，System Prompt。

ollama安装脚本问题处理

rstroller — Wed, 08 Apr 2026 23:06:48 +0800

文章摘要：在更新ollama时遇到下载失败问题，通过分析安装脚本发现下载逻辑集中在download_and_extract函数。解决方案是修改该函数以支持使用本地预下载的ollama文件（.tar.zst或.tgz格式），通过设置LOCAL_OLLAMA_PATH环境变量指定文件路径即可。该方法也适用于安装后的更新操作。另提到运行gemma4:26b模型需要约14GB显存和10GB内存，建议降低上下文配置以节省资源。

turboquant量化技术说明

rstroller — Sun, 29 Mar 2026 15:23:58 +0800

TurboQuant 的目标是把大模型推理时产生的海量数据KV Cache塞进极小的存储空间，同时还要保证数据拿出来用时依然准确。理想的量化应该是矢量量化VQ，即把一组数看成一个整体来找最优格点。通常需要为每一组数据存储额外的元数据，比如缩放比例Scale和偏移量Offset。这些元数据虽然比原始数据小，但在大规模模型中累积起来的内存开销依然非常显著。将数据坐标系从笛卡尔坐标到极坐标在极坐标下，角度的分布通常是有规律的。

qwen3.5 0.8B纠正任务实践

rstroller — Sat, 28 Mar 2026 21:11:17 +0800

摘要：在i5+8GB内存的CPU环境下测试Qwen3.5-0.8B.Q8_0.gguf模型用于文本纠错任务时发现，opus4.6蒸馏微调版本效果最佳。针对小模型常见问题（格式偏离、无限循环），采取以下优化：1）关闭推理模式缩减提示词；2）禁用重复惩罚参数，调低temperature至0.1-0.2；3）通过logit_bias强化格式符号生成概率；4）设置最大上下文限制。实验表明，0.8B模型在量化后易受注意力稀释影响，而2B模型因量化损失反而表现更差，建议在低配环境通过限制上下文使用稍大参数模型。

copaw梳理

rstroller — Thu, 19 Mar 2026 10:40:00 +0800

CoPaw是一个多功能的个人AI助手系统，采用分层架构设计，支持多渠道通信。系统包含五层架构：用户层（支持多种通信平台）、应用层（FastAPI动态路由）、核心Agent层（内置工具和记忆管理）、支撑服务层（模型和安全模块）以及基础设施层。核心功能包括动态Agent路由、安全拦截、记忆管理和技能扩展。系统通过Workspace机制实现多Agent独立运行，每个实例拥有完整的运行时组件。后端服务采用FastAPI框架，支持模型热加载和指令处理，内置多种通信渠道管理模块。整体设计强调灵活性、安全性和可扩展性，支

qwen3.5moe架构梳理

rstroller — Fri, 13 Mar 2026 12:04:44 +0800

Qwen3_5_MoE是一种多模态混合专家模型，主要包含以下特性：1) 采用256位专家和Top-8路由机制；2) 结合视觉编码器(27层CNN)和语言模型(40层Transformer)；3) 支持图片(248056)、视频(248057)等特殊token处理；4) 使用3D RoPE位置编码和动态KV缓存；5) 混合标准注意力与线性注意力层。模型继承自Qwen3VL架构，包含Qwen3_5MoeForConditionalGeneration等入口类，支持多模态输入处理和生成任务。初始化过程采用特殊参数

torch编写基础类介绍

rstroller — Sat, 07 Mar 2026 12:30:05 +0800

计算等价与手动+矩阵乘法的数学计算逻辑完全一致，都是自注意力的Query/Key/Value线性变换；工程更优nn.Linear是PyTorch为线性变换设计的工程化实现，解决了手动实现的初始化、封装、参数注册等问题；训练更稳：Xavier初始化是nn.Linear的核心优势，也是原文推荐替换的最主要原因，尤其在深度模型（如Transformer）中，初始化的优劣直接决定模型能否收敛。后续在Transformer的多头注意力、编码器/解码器实现中，所有的线性变换都会采用nn.Linear。

deepseek问答

rstroller — Sat, 07 Mar 2026 12:29:41 +0800

DeepSeek-R1与R1-Zero在训练过程上存在显著差异：R1-Zero采用纯强化学习路线，直接从基座模型开始训练，具有推理能力强、训练成本低的优势，但存在可读性差、非推理任务表现弱等问题；而R1通过SFT+RL多阶段训练，结合结构化数据和多维奖励机制，实现了推理能力与可读性的平衡。R1-Zero的核心价值在于验证纯RL可独立催生强推理能力，为后续研究提供基准。在创意写作方面，R1通过内化思维链机制和高效模式识别，能快速生成更有趣的内容。此外，R1摒弃传统外部搜索方法，通过GRPO算法实现模型内化推理

多模态模型问答

rstroller — Sat, 07 Mar 2026 12:29:16 +0800

BLIP-2 不直接用视觉 token，是因为它冻结 LLM，而原始视觉 token 存在分布不匹配、序列过长、空间不对齐三大问题，会破坏冻结 LLM 的稳定性与生成能力。BLIP-2 冻结 ViT 和 LLM、只训练 Q-Former，核心动机是在不破坏预训练视觉与语言能力的前提下，用最低成本实现视觉与语言的对齐。基于已经预训练好的模态编码器、模态解码器、文本大模型做多模态模型，多模态预训练和多模态微调两个阶段分别需要什么数据，需要冻结模型的哪些参数？人类对不熟悉的界面操作较慢，但对熟悉的界面操作很快。

提示工程与实用问答

rstroller — Sat, 07 Mar 2026 12:28:50 +0800

摘要：参数设置指南：翻译任务（精确性）：T=0.1-0.3，top_p=0.1-0.3 创意写作（流畅性）：T=0.6-0.9，top_p=0.8-0.95 头脑风暴（多样性）：T=0.9-1.2，top_p=0.9-1.0 参数验证方法：固定测试集设计参数网格多维度评估（忠实度/创意度/多样性等）核心问题解答： T=0仍有不确定性的原因：采样策略叠加、硬件非确定性、概率平局减少幻觉方法：强制引用来源、分步思考、角色约束提示词模板要素：角色定义、背景、任务、约束、格式、示例高级技巧：提示