liuwenqiang1314的博客

我们之前实现了基于python来抓取页面的信息，然后让大模型llm为我们生成一个简介。我们这次再进一步，我们抓取到网址上的标题，正文，有用链接等信息，来为这个网址的公司生成一个宣传文案。

之前我们用langchain来操作本地部署的模型做了一些工作。我们今天就操作一下openai的接口，全面了解一下具体的运作方式。

如我上文所说，我们其实已经具备了各种langchain的操作知识，那么现在我们整合一下这些知识，我们来基于rag和agent来构建我们的应用。那么为什么要这么做呢，或者说rag和agent分别起到什么作用，在我们整合之后。我们已经知道了agent可以为我们去调用一堆tool，不管是自己实现的tool还是langchain内置的。那么如果这些tool获取的知识不够呢或者比较本地化的知识网上没有呢，无法从外部获取呢。

我们此时其实已经完成了简单agent的制作，我们同时看到了langchain的强大，还有很多的功能等待我们学习。接下来我们就来整合所有的知识，来完成一个rag+agent系统。

我们可以参考这里来实现。而且我们看到他支持三种方式来创建tools。具体的内容可以去阅读文档，我们这里先使用第一种来实现一下。我们到此就让大模型联网检索了，其实还能进一步调用tool来完成更多的能力。

我们上文简单实现了一下如何加载文本，如何切分文本，如何向量化，并且简单测试了一下检索。这里我们来实现如何基于我们构建好的向量知识库来进行大模型的chat功能。

我们到此完成了文本的rag存储，后面我们将会使用rag增强检索来增强大模型的问答效果。

我们之前完成了一个简易的聊天机器人，但是还留下了一些问题没有解决，比如如何开启新的会话。如何切换session_id，如何把对话做成流式的输出。这些我们就会在今天来完成。

我们之前已经掌握了很多关于和LLM交互的操作了，现在我们需要在这些操作上面构建自己的机器人，进而在客户端操作服务。我们需要使用的工具是你就把他理解为python的uniapp吧。

我们在使用各种大模型产品的时候，我们作为用户其实能做的不多。只是构建一个合理的输入这样就没了。更多的是交给大模型端来处理，那么我们这个系列其实是针对大模型之上，用户之下构建的定位。我们需要在这里做更多的东西来让大模型和用户之间交流的更加顺畅。其中有一个非常重要的点就是上下文的记忆。如果我们没有上下文记忆，那我们使用大模型就和传统搜索引擎没有任何区别，永远局限于当前交流，这种无疑问是不合理的。所以我们需要构建用户交流的上下文，交给大模型然后使得他拥有记忆能力。

我们串行执行了两个chain，把第一个输出传给第二个作为输入，得到结果。但是这里有一点不太好，就是我第一个输出有时候可能很长，有时候可能很短。有时候token的长度不同选择不同的模型可能会更好。所以我们需要根据第一个的输出长度来判断下一个处理的模型是啥这个就有必要实现。这个需求的实现我们可以通过。

前面我们实现了一些关于如何和大模型进行交互的操作。那么我们此时来回顾一下我们当前进行的结构。我们已经很清楚这些操作的具体含义了，所以我这里就不在多介绍了。我们来看其中的几个点1、用户那边就是客户，没啥说的。2、langchain，这个是中间的框架。3、template，关键就在这里，我们大部分业务编码其实都在这里到目前为止。我们使用各种template来处理一些业务。我们构建起来一个模板之后，关键的一步就是执行invoke操作，包括llm也是执行invoke操作。

在大模型应用中有一个概念叫做Prompt，我们来看一下百度百科对Prompt的定义。prompt中文为“提示词”。在AI大模型中，Prompt的作用主要是给AI模型提示输入信息的上下文和输入模型的参数信息。所以我们可以知道Prompt其实就是你问大模型的输入语言，也就是我们作为用户和大模型交互的输入。

我们在上一篇文章中提到了我们可以使用langsmith来监控我们自己的模型。那么我们本文就来操作一把。

我们来搭建一个基于langchain的本地LLM，并且实现一个rag的检索增强器。原谅我就是这么单刀直入，没有废话。至于那些工具我就不多介绍了，网上说了很多了，我们直接进入操作。

上文中我们完成了ollama的安装和启动，并且测试了几个模型的效果，不管好坏来说。总算是跑起来了，接下来我们要使用langchian来进行一些开发。在开发之前我们需要做一个环境的准备，这个环境指的是python环境。