liuwenqiang1314的博客

前面我们实现了一些关于如何和大模型进行交互的操作。那么我们此时来回顾一下我们当前进行的结构。我们已经很清楚这些操作的具体含义了，所以我这里就不在多介绍了。我们来看其中的几个点1、用户那边就是客户，没啥说的。2、langchain，这个是中间的框架。3、template，关键就在这里，我们大部分业务编码其实都在这里到目前为止。我们使用各种template来处理一些业务。我们构建起来一个模板之后，关键的一步就是执行invoke操作，包括llm也是执行invoke操作。

在大模型应用中有一个概念叫做Prompt，我们来看一下百度百科对Prompt的定义。prompt中文为“提示词”。在AI大模型中，Prompt的作用主要是给AI模型提示输入信息的上下文和输入模型的参数信息。所以我们可以知道Prompt其实就是你问大模型的输入语言，也就是我们作为用户和大模型交互的输入。

我们在上一篇文章中提到了我们可以使用langsmith来监控我们自己的模型。那么我们本文就来操作一把。

我们来搭建一个基于langchain的本地LLM，并且实现一个rag的检索增强器。原谅我就是这么单刀直入，没有废话。至于那些工具我就不多介绍了，网上说了很多了，我们直接进入操作。

上文中我们完成了ollama的安装和启动，并且测试了几个模型的效果，不管好坏来说。总算是跑起来了，接下来我们要使用langchian来进行一些开发。在开发之前我们需要做一个环境的准备，这个环境指的是python环境。