huiguo_的博客

FastChat 是一个开放平台，用于训练、服务和评估基于大型语言模型的聊天机器人。FastChat 为 Chatbot Arena ( https://chat.lmsys.org/ ) 提供支持，为 50 多名法学硕士提供超过 600 万个聊天请求。Arena 从并列的 LLM 比赛中收集了超过 10 万个人投票，编制了在线LLM Elo排行榜。最先进模型的训练和评估代码（例如，Vicuna、MT-Bench）。

LangChain提供了一个标准的内存接口、一组内存实现及使用内存的链/代理示例。前提条件你是部署好了你的本地大模型，并且提供了API接口，如果你还不会搭建本地模型，你可以参考我的另一篇博客。如果你是在国外或者学会了科学上网，并且你在openai注册了key，你就可以使用opanai的模块进行调用。当然应为我们选择LangChain最为我们的中间件，我们也可以使用LangChain封装的模块使用。提供了一个标准的代理接口，一系列可供选择的代理，以及端到端代理的示例。在下载之前你需要安装环境。

聊天模型：这些模型通常由语言模型支持，但它们的API更加结构化。具体来说，这些模型将聊天消息列表作为输入，并返回聊天消息。这里的content就相当于大模型机器回答，干啥用呢，为了以后的多轮对话做准备。LLMs：这些模型将文本字符串作为输入，并返回文本字符串作为输出。还可有以下情况，就是上面说的模仿大模型说话，我们先看一下原生的。文本嵌入模型：这些模型将文本作为输入，并返回一个浮点数列表。看到没，这时候，我们的大模型就可以作为一个助手帮你了。LangChain 支持的各种模型类型和模型集成。

大白话就是我们问大模型的问题声明一个模板，注意：{变量} 提示词模板的意思就是一个框架里面有一些变量，这些变量也可以理解成为占位符。后面使用提示词模板只要把里面的变量进行具体化就可以了template = "你是一个很有帮助的翻译助手{input_language} 翻译成 {output_language}."

自定义示例选择器它的英文名叫做few shot examples：就像我们教小朋友一样，比如教小朋友分类水果，先给他演示一下水果怎么分类的，红色的放哪一个框框，白色的放哪一个框框，然后在给它一个新的水果，小朋友根据你教的示范，就会自己去分类了具体在上一节的2.5有介绍具体步骤如下定义一个类，继承BaseExampleSelector实现add_example方法，它接受一个示例并将其添加到该ExampleSelector中。

链允许我们将多个组件组合在一起，创建一个单一的、一致的应用程序。例如，我们可以创建一个链，该链接接受用户输入，使用 PromptTemplate 对其进行格式化，然后将格式化后的响应传递给 LLM。我们可以通过将多个链组合在一起，或者通过将链与其他组件组合在一起，来构建更复杂的链。