<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Forrit的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Forrit</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Forrit]]></copyright><item><title><![CDATA[词表扩充相关细节]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/166366315</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/166366315</guid><author>Forrit</author><pubDate>Tue, 22 Sep 2026 15:50:46 +0800</pubDate><description><![CDATA[embedding 矩阵形状 = (vocab_size, hidden_size)，行数必须等于 config 的 vocab_size数据统计发现业务字频繁变 （如审核场景的异体字）。不需要就别扩（如 URL 类文本基本被 21128 覆盖）]]></description><category></category></item><item><title><![CDATA[Lora微调时候的梯度拉扯问题]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/164228266</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/164228266</guid><author>Forrit</author><pubDate>Mon, 31 Aug 2026 19:35:37 +0800</pubDate><description><![CDATA["的陷阱壳 → 表征接近，标签不同 → 也是拉扯源。尤其你 270 条反向样本若边界没卡准，最容易在这生矛盾对。所以"矛盾 hard 样本不是越多越好"在 0.6B 上是。这就是"拉扯"——两个样本在抢同一个权重，谁也推不动谁，还把方向搅浑。+ 扰动那份，把"近距相反"的样本对 dump 出来给你人工裁决？模型被迫在"已经长得一样的特征"上硬分出两条路。而"表层接近 + 标签相反"正是制造这种相反方向的最强组合。直觉：小模型的"特征格子"少，两条相似输入占的格子。关键不是"参数少"，是。]]></description><category></category></item><item><title><![CDATA[LightRAG 自定义 LLM / Embedding 接入常见问题总结]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/162312823</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/162312823</guid><author>Forrit</author><pubDate>Thu, 25 Jun 2026 18:30:51 +0800</pubDate><description><![CDATA[之前错误运行时，embedding 返回了 list 而非 ndarray，向量数据库（NanoVectorDB）写入了损坏数据。修复代码后，旧数据没有被清理，继续触发错误。（Python list 包装的 numpy 数组）是错误的——list 没有。中的 unwrap 逻辑），自定义 LLM 函数没有这个属性。构造函数只创建对象，不会自动初始化底层存储后端。运行异常，LLM 函数被同步调用导致阻塞。不确定的行为 / 装饰器未生效。装饰器，不能当成普通函数调用。）明确将此列为"最常见错误"。]]></description><category></category></item><item><title><![CDATA[大模型评估指标]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/161110835</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/161110835</guid><author>Forrit</author><pubDate>Fri, 15 May 2026 12:47:29 +0800</pubDate><description><![CDATA[WinRate、拒绝率、幻觉下降、简洁度、冗余度、安全合规、人类偏好满意度、保守严谨度。指令跟随、格式遵循、基础能力、专业客观正确率、少乱答。LLM 裁判 0~5 分打分，取全样本均值。]]></description><category></category></item><item><title><![CDATA[DPO 完整评估指标体系]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/161110536</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/161110536</guid><author>Forrit</author><pubDate>Fri, 15 May 2026 12:40:54 +0800</pubDate><description><![CDATA[SFT 看：客观正确率、指令跟不跟DPO 看：不掉专业能力 + 偏好胜率高 + 幻觉少 + 安全合规 + 话术更专业得体。]]></description><category></category></item><item><title><![CDATA[为什么有了SFT，还需要DPO？]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/161108024</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/161108024</guid><author>Forrit</author><pubDate>Fri, 15 May 2026 11:40:54 +0800</pubDate><description><![CDATA[SFT 让模型「会说话、听指令」DPO 让模型「会好好说话、不说错话、懂分寸、合人心意」只有SFT：像一个只会照本宣科的实习生；加上DPO：才变成有判断力、有分寸、懂偏好、少幻觉的成熟模型。]]></description><category></category></item><item><title><![CDATA[多智能体：不是每次任务都要走辩论，按需触发]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/161107502</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/161107502</guid><author>Forrit</author><pubDate>Fri, 15 May 2026 11:26:14 +0800</pubDate><description><![CDATA[└─ 需要辩论 → 进入辩论Agent → 校验Agent。└─ 有问题 → 带修改信息重跑循环。├─ 没问题 → 结束。，不用强行走执行→辩论→校验循环；，才手动/自动触发辩论校验流程。规划 → 任务队列 → 执行完成。├─ 无需辩论 → 直接结束。规划Agent拆分任务时，]]></description><category></category></item><item><title><![CDATA[多智能体 执行-辩论-校验 闭环架构]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/161107110</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/161107110</guid><author>Forrit</author><pubDate>Fri, 15 May 2026 11:19:27 +0800</pubDate><description><![CDATA[不参与内部循环迭代。]]></description><category></category></item><item><title><![CDATA[Agent 回退机制]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/161090475</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/161090475</guid><author>Forrit</author><pubDate>Thu, 14 May 2026 21:09:21 +0800</pubDate><description><![CDATA[适合：参数错、选工具错、路由选错、格式错误。网络超时只重试，逻辑跑偏才回退；错一步退上节点，走死胡同跳入口；记忆保留不动，次数限制防循环。回退先滚状态，再重思考重走；]]></description><category></category></item><item><title><![CDATA[AI多Agent 用户-会话-记忆 建表&架构总结]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/161090264</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/161090264</guid><author>Forrit</author><pubDate>Thu, 14 May 2026 20:59:02 +0800</pubDate><description><![CDATA[用户进入 → 识别user_id（游客自动生成）选中会话 → 识别session_id加载数据 → 长期记忆(数据库) + 短期记忆(Redis) 塞入StateAgent运行 → 临时字段在State流转，不落地会话结束 → 只更新短期记忆、长期记忆，临时数据全部丢弃。]]></description><category></category></item><item><title><![CDATA[关于Langgrahp中State的说明]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/161090065</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/161090065</guid><author>Forrit</author><pubDate>Thu, 14 May 2026 20:35:30 +0800</pubDate><description><![CDATA[任何数据想在节点间流转、共享，只把 State 里面。]]></description><category></category></item><item><title><![CDATA[向量索引的构建和优化]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/161022945</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/161022945</guid><author>Forrit</author><pubDate>Tue, 12 May 2026 17:26:44 +0800</pubDate><description><![CDATA[索引类型核心原理速度内存占用准确率推荐场景Flat (无索引)暴力计算慢低100%小数据量 (<1万) 或 调试HNSW图结构极快高高大多数 AI 应用的首选IVF聚类划分快中中内存受限的中大型数据PQ向量压缩快极低低亿级以上超大规模数据。]]></description><category></category></item><item><title><![CDATA[模型压缩技术]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/161011425</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/161011425</guid><author>Forrit</author><pubDate>Tue, 12 May 2026 11:45:37 +0800</pubDate><description><![CDATA[技术核心思想主要优势剪枝移除冗余的神经元或连接直接减小模型尺寸，加速推理量化降低数值计算精度大幅降低内存占用，提升计算效率知识蒸馏大模型指导小模型训练让小模型继承大模型的高性能低秩分解将复杂矩阵分解为简单组件减少参数量和计算复杂度注意：在实际应用中，这些技术通常是组合使用的，例如先对模型进行剪枝，再进行量化，以达到最佳的压缩和加速效果。]]></description><category></category></item><item><title><![CDATA[使用 Self-Instruct 构建医学问答数据集]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/161011403</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/161011403</guid><author>Forrit</author><pubDate>Tue, 12 May 2026 11:45:06 +0800</pubDate><description><![CDATA[本文档演示如何用 Self-Instruct 的四步循环法（指令生成 → 分类 → 实例生成 → 过滤）来生成医学问答数据集。：流程完全遵循标准 Self-Instruct，但在种子质量和过滤环节上做了医学领域的特化加强。：心血管疾病。]]></description><category></category></item><item><title><![CDATA[使用 Self-Instruct 构建医学问答数据集]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/160988101</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/160988101</guid><author>Forrit</author><pubDate>Mon, 11 May 2026 16:21:23 +0800</pubDate><description><![CDATA[本文档演示如何用 Self-Instruct 的四步循环法（指令生成 → 分类 → 实例生成 → 过滤）来生成医学问答数据集。：流程完全遵循标准 Self-Instruct，但在种子质量和过滤环节上做了医学领域的特化加强。：心血管疾病。]]></description><category></category></item><item><title><![CDATA[任务拆分的原理和策略]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/160967175</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/160967175</guid><author>Forrit</author><pubDate>Mon, 11 May 2026 09:48:27 +0800</pubDate><description><![CDATA[三大核心原理，是厨师与生俱来的三种思考本能：盯着差距想办法（手段-目的）、在脑子里模拟结果（模型反射）、查现成的分解套路（层次化任务网络）。策略光谱，是它面对不同难度菜肴时，组合运用这三种本能的具体做法。简单任务，只用本能1（递归分治）。有经验可循，就依赖本能3（案例推理）。复杂的长期活儿，就组合本能1和2（减速规划）。要寻求最佳方案，就把本能2开到极致（树状搜索）。它不是一个接一个的独立技术，而是底层心法和上层招式的组合关系。这样会不会更清晰一些？]]></description><category></category></item><item><title><![CDATA[Rag的召回率怎么结算]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/160894848</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/160894848</guid><author>Forrit</author><pubDate>Fri, 08 May 2026 17:39:27 +0800</pubDate><description><![CDATA[召回率测试集里总共有多少真实相关文档数检索出来的相关文档数​。]]></description><category></category></item><item><title><![CDATA[RAG 标准评测集完整构建流程]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/160896373</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/160896373</guid><author>Forrit</author><pubDate>Fri, 08 May 2026 17:29:03 +0800</pubDate><description><![CDATA[坚决不先搭RAG库再标评测集，避免数据泄露、评测虚高。]]></description><category></category></item><item><title><![CDATA[一直调用工具]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/160697105</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/160697105</guid><author>Forrit</author><pubDate>Sat, 02 May 2026 01:07:17 +0800</pubDate><description><![CDATA[✅ 也确实传给了 chat_chain.ainvoke()✅ tool_result 变量确实有值（你解析成功了）❌ 但是 LLM 还是又调用了工具，没有使用这个结果！问题1：占位符替换后的实际内容。]]></description><category></category></item><item><title><![CDATA[长期记忆的注意事项]]></title><link>https://blog.youkuaiyun.com/Forrit/article/details/160554194</link><guid>https://blog.youkuaiyun.com/Forrit/article/details/160554194</guid><author>Forrit</author><pubDate>Mon, 27 Apr 2026 13:19:38 +0800</pubDate><description><![CDATA[入库前比对库内已有指纹，完全一致直接拦截。入库第二层：向量语义相似度去重。合并相同事实、补充残缺信息、删除重复表述，多条碎片浓缩为一条标准化原子记忆。把缓存里多条零散事实，按语义相似度分组，把同一件事的多条碎片归为一类。对完全一致、高度近似的文本碎片，直接过滤剔除，减少无效内容。将高密度相似向量簇合并、淘汰老旧冗余记忆，长期净化库体。命中超高相似历史向量 → 判定为同义重复，拒绝入库。作用：解决说法不同、事实相同的语义重复。作用：干掉一字不差的完全重复内容。，避免和历史长期记忆重复。]]></description><category></category></item></channel></rss>