iting_0924的博客

如果 LLM 判断需要使用工具，它不会生成普通文本，而是生成一段 JSON，告诉 Agent：“请帮我执行这个函数，参数是这些”。使用专门的 Reranker 模型（Cross-Encoder），对初筛出的文档与 Query 的相关性进行精确打分，保留最相关的 Top 3-5。在向量数据库中进行近似最近邻（ANN）搜索，通过计算余弦相似度（Cosine Similarity），快速召回 Top 10-20 的片段。用户的提问也被向量化，并在数据库中计算相似度（如余弦相似度），召回 Top-K 的文本块。

意图识别、简单的 Query 改写、判断检索结果是否相关的打分任务，可以使用微调过的本地小模型（如 Llama-3-8B 或 Qwen-7B）处理。只有最终的规划和长文总结才使用昂贵的大模型。如果你的 Query Rewrite 只是一个固定的前置规则或单次 LLM 调用（例如：让 LLM 把用户的口语化提问改写为 3 个适合向量检索的关键词），这依然是流水线的一部分。LLM 被动接收检索到的上下文，如果检索回来的内容是垃圾，LLM 产出的也是垃圾（Garbage in, garbage out）。

加 Rerank 是为了弥补初筛阶段为了速度而牺牲的精度。初筛负责把包含答案的文档“捞”上来，Rerank 负责把最能准确回答问题的文档“排”到最前面，防止不相关的内容干扰大模型（LLM）。

业界目前事实上的标准是采用规范（OpenAI 也是采用此标准）。name: 工具的唯一标识符（只能用字母、数字、下划线）。最核心的部分！这是写给模型看的“Prompt”。你需要清晰描述这个工具是做什么的、什么时候该用、什么时候不该用。parameters: 定义各个参数的名称、数据类型（string, integer, boolean 等）、描述信息（告诉模型如何提取或构造这个参数），以及哪些是必填项（required"description": "查询指定城市的天气","city": {

当积累了足够多的新会话后（通常是距离上次清理超过 24 小时且有 5 个以上新会话），它会在后台自动合并冲突的记忆（例如旧的数据库配置和新的配置）、删除无效的笔记，并将。如前所述，Auto Dream 进程会在后台用大模型重新审视已有的记忆，执行合并同类项、剔除失效链接（比如笔记指向了一个已经被删除的代码文件）的工作，确保记忆库始终精简且最新。因为有底层持久化记忆的兜底，重启后新会话的上下文极为干净，同时 Claude 依然“记得”上一条会话中得出的核心结论。存储在开发者的本地机器上，跨越所有项目生效。