yitang的博客

首先使用Llama-3-1-8B作为例子进行解析。如何Llama-3-1-8B想要在本地电脑运行，那么它需要多少GPU才能完美的运行起来了，大约需要19.2G的GPU才能运行。那么我们的机子最好是4090,哎。。。。。。。这成本太高了，普通人是无法承受的。因为很多人看到大模型运行成本这么高，所有都在想使用什么方式降低成本，又能达到接近的效果。参数高效微调后的大模型就是此产物，参数高效微调相关知识可以看我之前写的文章。

NF4（NormalFloat4）是一种专门用于量化。

存储对话历史中的信息的能力称之为’记忆‘，这种工具可以单独使用，也可以无缝的集成到一条链中,记忆的存储长度是程序执行到结束，执行一次的所有记忆。记忆的主要应用场景就是聊天机器人，聊天机器人的一个关键功能是它们能够使用先前对话的内容作为上下文。记忆力在实际使用的逻辑：记忆力在使用中可以分一下几个场景：记忆力的几个重要的类：会话缓冲区。

提示词模版示例，这里分为两块部分，使用固定示例集(少量固定回答示例)和使用示例选择器动态的生成示例(少量动态回答示例)。这两块主要使用的组件分别是FewShotChatMessagePromptTemplate、SemanticSimilarityExampleSelector。提示词示例也就是使用少量回答示例的作为条件结合llm进行问题回答。使用少量固定回答示例实现过程。使用少量动态回答示例实现过程。使用少量动态回答示例代码。

‌LangChain中的提示词（Prompts）‌是用户与模型交互的方式，即模型的输入，通过提示词可以让模型返回用户期望的内容。提示词在LLM（Large Language Models，大语言模型）领域中扮演着关键角色，它不仅是模型接收信息的入口，也是模型生成输出的起点。提示词也是用于生成语言模型提示词的预定义脚本。语言模型能够接受的提示词是字符串或聊天消息列表。提示词中提供了两个提示词模版：PromptTemplate:字符提示词模版，模版支持任意数量的变量，包括无边量。

为了尽可能轻松创建自定义链，Langchain实现了“Runnable”协议(接口)。这是一个标准接口，可以轻松定义自定义链并以标准方式调用它们。比如 chat model、LLMs、output parser、retrievers、Prompt 等。都是实现了这个实现了这个协议。stream：流式返回响应的块invoke：在输入上调用链batch：在输入列表上调用链astream：异步流式返回响应的块ainvoke：异步在输入上调用链abatch：异步在输入列表上调用链。

langchain的构成其包含langchain-core,langchain-community,langchain,langgraph,langserve,langSmith。

LangChain是一个用于开发由大语言模型支持的应用程序的框架。它提供了大量组件来帮助我们构建LLM支持的应用程序。其主要是有六大功能组成。LLMs(大语言模型（生成式语言模型）)，Prompts(提示词)，Memory(记忆力)，chains，Document Loaders(各种格式文件的加载器)，Vector Stores(向量的存储)

在Anaconda也能看到所创建的所有环境，点击那个环境就是激活那个环境，有播放图标的说明那个环境被激活。（1） 进入环境 conda activate pythonProject3。最后点击ok就可以了。Pycharm就可以使用新创建的环境了。（2） 输入which python查询环境路径。这里就选择上面第一步通过终端获取的环境路径。使用终端用1,2行命令就可以创建环境了。选择Preferences。