小志的博客

摘要： 大模型开发中，"变"与"不变"需平衡处理。API的统一性（如OpenAI标准）和基础能力（如推理、多模态）是稳定要素，开发者应聚焦业务整合而非过度追求模型升级。架构设计可通过"LLM Router"实现模型分流（如本地处理简单任务、云端处理复杂请求），以优化成本与性能。对于"变"的部分，需关注三点：新功能创造场景（如GPT-4V的图像识别）、性能跃升（如GPT-3.5到4）、成本变化（如开源模型替代方案）。特定场景模型（

模型微调是对预训练大模型进行局部参数调整的技术，能够以较低成本实现模型定制化。相比训练全新大模型动辄数百万美元的成本，微调只需调整部分神经元连接，大大降低了计算开销。在实际应用中，微调常与RAG（检索增强生成）结合使用，先用RAG处理新数据，积累到一定量后再进行微调，既保证数据时效性又提升模型质量。 微调流程包括数据准备、模型训练、评估和使用四个步骤。数据准备是关键环节，需要足够数量且高质量的训练样本。主流工具如LLaMA Factory提供了图形化界面，支持多种数据格式和训练方法，适合初学者使用本地部署。

本文介绍了两种封装大模型的方法：使用LangChain和集中接入。LangChain通过抽象层屏蔽不同模型的差异，支持无缝切换，并提供了Hugging Face模型的集成示例。集中接入方案则将模型管理移出代码，以One-API和Ollama为例，展示了本地部署和API调用的方法。Ollama支持多种模型版本，可通过命令行或API访问，适用于私有部署和成本控制。两种方法各有优势，可根据项目需求灵活选择。

摘要： 本文介绍了使用本地部署的开源大模型替代GPT等第三方服务的必要性，尤其适用于注重数据安全的企业。重点介绍了Hugging Face作为AI开源社区的核心作用，并演示了通过高层接口（pipeline）和底层接口调用模型的两种方式。高层接口简化了模型调用流程，支持文本生成、翻译等多种任务；底层接口则通过Tokenizer和模型生成实现更灵活的控制。文章还提及了访问权限、镜像站配置等实践问题，为开发者提供了本地部署大模型的实用指南。

本文介绍了大模型集中接入的必要性及实现方法。通过构建大模型代理（如One-API），可以解决多账号管理、限流控制、供应商切换等问题。集中接入后，应用只需对接标准OpenAI接口，而代理负责处理不同供应商的API差异、本地模型接入等复杂性。以One-API为例，文章演示了如何通过Docker部署代理服务，配置渠道模型、API密钥等核心功能，并展示了模型重定向等高级用法。这种架构简化了AI应用开发，将底层复杂性交由代理处理，开发者只需关注业务逻辑实现。

摘要： 本文探讨了缓存技术在大模型应用中的重要性及其实现方式。缓存能显著提升访问速度并降低成本，尤其适用于响应较慢的大模型服务。LangChain提供了统一的缓存接口，支持精确缓存（如内存缓存）和语义缓存（如基于Redis的RedisSemanticCache）。精确缓存要求输入完全匹配，而语义缓存通过自然语言理解实现相似意图的匹配。文中通过代码示例演示了两种缓存的使用，并指出LangChain当前实现中因JSON字符串噪声导致语义缓存可能误匹配的问题，需通过自定义逻辑（如FixedSemanticCach

摘要 本文探讨了大模型记忆功能的实现方案，重点介绍了长期记忆的解决方案Mem0。大模型本身无状态，记忆功能需通过提示词传递内容实现。短期记忆通过存储聊天历史实现，但受限于上下文窗口大小。长期记忆通过向量数据库存储历史对话内容，使用时进行语义检索。Mem0作为一个开源记忆层项目，采用简洁API设计，将对话内容提取为事实存入向量数据库，实现长期记忆功能。文章通过代码示例展示了如何结合LangChain使用Mem0，在对话中检索相关上下文并存储交互历史，使AI能够记住用户偏好和历史对话，实现更个性化的服务。

本文介绍了基于LangChain框架实现的Agent系统。通过代码示例展示了如何定义工具函数（如计算和查询水果单价），并使用@tool装饰器将其转换为Agent可调用的工具。重点解析了ReAct Agent的提示词模板设计，其中包含工具信息、思考过程和执行步骤。最后说明了如何将模型、工具和提示词组装成可执行的Agent，并通过AgentExecutor实现循环执行机制。整个系统实现了问答过程中动态调用工具并逐步推理的功能。

本文介绍如何基于ReAct模式实现一个Agent系统。ReAct模式包含思考(Thought)、行动(Action)和观察(Observation)三个阶段循环。文章首先实现了一个基础的聊天机器人，然后详细阐述了ReAct提示词的设计，包括模式描述、可用动作和示例会话。可用动作包含计算和查询水果价格两个功能，通过Python函数实现。最后通过正则表达式和字典将动作映射到具体实现，构建完整的Agent系统。该实现避免了直接使用LangChain等框架，采用底层方式帮助理解Agent的工作原理。

本文探讨了AI Agent（智能代理）的概念及其与大模型的结合应用。Agent是一种能够自主感知环境、做出决策并采取行动达成目标的系统，其核心在于具备灵活性的"大脑"。随着大模型的发展，其推理能力为Agent提供了理想的"大脑"，催生了AutoGPT等新一代智能代理。一个完整的Agent系统通常包含规划、记忆和工具三大组件：规划负责任务分解与优化，记忆提供短期和长期信息存储，工具则用于外部交互。文章详细描述了Agent的工作流程，即通过任务分解、执行评估和循环处理来完

本文介绍了RAG（检索增强生成）技术的两个核心过程：索引和检索生成。在索引部分，通过TextLoader加载文本信息，使用RecursiveCharacterTextSplitter拆分文档，并存储到Chroma向量数据库中。检索生成部分展示了如何基于向量数据库构建RAG应用，包括相似度搜索、token计数以及对话历史管理等关键技术实现。文章还提供了完整的代码示例，展示了从文档处理到检索生成的全流程实现方案。

摘要：RAG（检索增强生成）是一种低成本且灵活的方法，用于让大模型掌握特定业务知识。其核心流程包括检索相关资料、增强提示词并生成回答。与传统数据库不同，RAG依赖向量数据库进行语义匹配，通过Embedding模型将文本转换为向量。索引过程涉及信息提取、文本拆分、向量转换和存储。尽管RAG技术快速发展，涉及混合搜索、重排序等新方向，但基于现有框架如LangChain，开发者可以较容易地实现RAG应用。

本文介绍了如何利用LangChain框架开发三种不同功能的聊天机器人。首先实现了一个基础的命令行聊天机器人，但发现其无法记住对话历史。接着通过引入RunnableWithMessageHistory和InMemoryChatMessageHistory实现了能记住上下文的聊天机器人。最后展示了如何通过提示词模板让聊天机器人扮演特定角色（如孔子），使其保持一致的对话风格。文章还解释了LangChain中Runnable接口的关键作用，以及如何通过会话ID管理不同用户的聊天历史。这些示例展示了聊天机器人从简单到

LangChain是一个AI应用开发框架，提供三个核心抽象：ChatModel负责生成输出，支持同步和流式调用；PromptTemplate分离开发者提示词和用户输入；OutputParser处理模型输出。通过LangChain表达式语言(LCEL)可将这些组件串联成链，简化大模型应用开发。文章通过代码示例展示了如何实现英译中任务，并介绍了流式响应和提示词模板的使用方法。

摘要： LangChain是一个快速演化的开发框架，用于构建基于大语言模型的应用，其核心价值在于提供基础抽象（如模型、解析器、提示词模板等）和表达式语言（LCEL），通过组件组装成链实现功能。LangChain包含三个层次：开发框架（核心抽象与LCEL）、社区生态（各类模型、工具、提示词模板的实现）和扩展生态（如LangServe、LangSmith等工具）。开发者可根据需求选择是否使用LangChain，其丰富的示例和资源也使其成为学习大模型应用开发的重要材料。框架虽强大，但需结合实际场景评估其适用性。

本文介绍了大模型聊天应答的核心内容与结构。首先解释了标准HTTP应答的常见参数，包括id、object、created、model和system_fingerprint等元数据信息。重点分析了choices字段，包含index索引、finish_reason停止原因以及message消息内容，其中message可能包含常规回复或工具调用(tool_calls)。在工具调用场景下，详细说明了function调用的id、type和参数结构。此外还展示了开启logprobs选项时返回的token概率信息，包括每个

本文介绍了OpenAI API的核心功能和编程接口，重点分析了聊天补全接口/v1/chat/completions的使用方法。文章首先指出学习OpenAI API的重要性，因其已成为行业标准。随后详细解析了API请求参数，将其分为核心参数（如model、messages、temperature等）、工程参数（如user、n）、工具参数（如tools、tool_choice）和模型参数（如seed、frequency_penalty等）。文章还提到API的兼容性和通用性，建议开发者掌握这些核心概念，以便快速上

本文介绍了大模型应用开发中的提示词工程（Prompt Engineering）。提示工程旨在通过优化提示词编写，提升大模型处理复杂任务的能力。文章概述了几种核心提示技术：零样本提示（Zero-Shot Prompting）适用于简单任务；少样本提示（Few-Shot Prompting）通过提供示例增强模型理解；思维链提示（Chain-of-Thought Prompting）引导模型分步推理以提高准确性；ReAct框架（Reasoning+Acting）则结合推理与外部工具调用，扩展模型能力边界。这些技术

本文从用户视角探讨如何有效使用GPT，提出"定义任务目标-下达命令-调整结果"的三步使用法。核心在于掌握提示词公式：定义角色+背景信息+任务目标+输出要求。通过设定角色（如医生、历史学家）可获取更专业的回答；提供充分背景信息能提高回答相关性；明确任务目标和输出要求（如格式、字数）可精准控制结果。文章强调灵活运用公式，通过多次对话补充信息优化回答，并指出该方法适用于各类大模型交互。

本文从技术视角解析了大模型的工作原理，主要介绍了三个核心概念：Token、温度和Embedding。首先，大模型通过逐个添加Token来生成文本，Token数量直接影响上下文窗口大小和计费标准。其次，通过引入温度参数控制随机性，温度越高输出越多样化。最后，解释了字符串如何通过One-Hot编码和神经网络压缩转化为向量形式的Embedding，这是AI处理各类输入的基础。这些概念对理解大模型应用开发至关重要，Token决定处理能力，温度影响输出风格，Embedding则是信息转换的关键步骤。

比如，当用户提问与自杀相关的问题时，GPT 不会简单地给出“建议自杀”的回答，而会尽力引导用户寻求专业的帮助和支持，避免对用户造成不良影响。例如，模型的计算能力不足，或者模型的结构不够优秀，都会对模型的回答产生一定的影响。至此，我们已经对大模型有了一个初步的了解，这些内容虽然是针对 GPT 进行讲解的，但由于技术上的通用性，其它的 LLM 也基本上可以这样理解。：人类语言是具有歧义性的。在下面的例子里，我问了 GPT 一个不恰当的问题，GPT 没有回答我怎么做，而是提醒我，这种做法是不合适的。

摘要： AI时代下，程序员仍可通过工程化能力将大模型技术与实际业务结合。基于大模型的AI应用开发核心在于将部分规则判定交由模型处理，开发者需掌握提示词编写、OpenAI API和LangChain框架等技能。课程涵盖大模型基础、应用开发（如RAG和Agent）及开源模型实践，重点传授长期有效的技术逻辑（如提示工程），而非特定模型细节，帮助普通程序员快速适应AI开发需求，降低技术迭代的过时风险。