a_blade_of_grass的博客

vLLM是一个用于快速LLM推理和服务的开源库。vLLM 利用，可以有效地管理注意力键和值。PagedAttention 的 vLLM 重新定义了 LLM 服务的最新水平：它提供了比 HuggingFace Transformers 高 24 倍的吞吐量，而无需任何模型架构更改。

LangChain 和 LLM 最常见的用例之一是摘要。您可以总结任何一段文本，但用例范围从总结通话、文章、书籍、学术论文、法律文件、用户历史记录、表格或财务文件。拥有一个可以快速总结信息的工具非常有用。对于短文摘要，方法很简单，实际上，除了简单的提示和说明之外，你不需要做任何花哨的事情llm = ChatOpenAI(temperature = 0) # 创建模板 template = """%TEXT:{text}

给定一组维度为ddd的向量x1xnx1​...xn​，Faiss会在RAM中构建一个数据结构。构建结构之后，当给定一个维度为ddd的新向量xxxiargmini∣∣x−xi∣∣iargmini​∣∣x−xi​∣∣其中，∣∣⋅∣∣||\cdot||∣∣⋅∣∣是欧几里得距离(L2)。在Faiss术语中，数据结构是一个索引，一个具有add方法以添加x_i向量的对象。注意，x_i的维度被假定为固定的。

LangChain是一个由语言模型驱动的应用程序框架。集成（Integration）-将外部数据（例如你的文件、其他应用程序和API数据）带到你的LLMs里代理（Agency）-允许你的LLMs通过决策与其环境进行交互。使用LLM来帮助决定下一步要采取什么行动。轻松浏览大量长文档并获得摘要。观看此视频了解除 map-reduce 之外的其他链类型[32;1m[1;[32;1m[1;[32;1m[1;

参考自https://www.deeplearning.ai/short-courses/ai-agents-in-langgraph，以下为代码的实现。

参考自，以下为代码的实现。

仿照ChatGLM3部署，参考了Qwen模型的文档，模型地址。

参考自Locust是易于使用的分布式性能测试框架，使用协程的方式模拟用户请求，这与LoadRunner和Jmeter这类采用进程和线程的测试工具不一样，由于线程之间的切换是需要占用资源的，IO的阻塞和线程的sleep会不可避免地导致并发效率下降，所以这类测试工具很难在单机上模拟出较高的并发压力。协程是在用户态完成的，上下文切换的代价远比线程切换代价小得多，因此在单机上Locust能够达到更高数量级的并发。

参考自仓库协程（coroutine）在多任务协作中体现的效率又极为的突出。Python中执行多任务还可以通过多进程或一个进程中的多线程来执行，但两者之中均存在一些缺点，因此引出了协程。在计算机中CPU的运算速率要远远大于IO速率，而当CPU运算完毕后，如果再要闲置很长时间去等待IO任务完成才能进行下一个任务的计算，这样的任务执行效率很低。所以需要有一种异步的方式来处理类似任务。

参考自，以下为代码的实现。

参考自，本文用于学习记录。

本文参考FastAPI教程https://fastapi.tiangolo.com/zh/tutorial这部分暂无需求的没有记录，仅放置标题。

本文参考FastAPI教程。

Pydantic的.dict()user_in是类UserIn的Pydantic模型。Pydantic模型支持.dict方法，能返回包含模型数据的字典。因此，如果使用如下方式创建Pydantic对象user_in现在，变量user_dict中的就是包含数据的字典（变量user_dict是字典，不是Pydantic模型对象）。解包dict把字典user_dict以形式传递给函数（或类），Python会执行解包操作。它会把user_dict的键和值作为关键字参数直接传递。因此，接着上面的。

参考services: # 开始定义服务列表glm3_api: # 服务名称为 glm3_apiimage: python:3.10.13-slim # 使用的 Docker 镜像是 python 3.10.13-slim 版本restart: unless-stopped # 容器停止时除非明确停止，否则会尝试重启working_dir: /glm3 # 设置容器内的工作目录为 /glm3container_name: glm3_api # 给容器设置一个名称 glm3_api。

您编写的代码、Python文件。pythonpython.exe或uvicorn。在操作系统上运行、使用CPU并将内容存储在内存上的特定程序。这也被称为进程。在操作系统上运行的特定程序。这不是指文件，也不是指代码，它具体指的是操作系统正在执行和管理的东西。任何程序，任何代码，只有在执行时才能做事。因此，是当有进程正在运行时。该进程可以由您或操作系统终止（或“杀死”）。那时，它停止运行/被执行，并且它可以不再做事情。

你可以为查询参数声明额外的校验和元数据。aliastitledeprecatedmin_lengthmax_lengthregex你可以添加多个请求体参数到路径操作函数中，即使一个请求只能有一个请求体。但是 FastAPI 会处理它，在函数中为你提供正确的数据，并在路径操作中校验并记录正确的模式。你还可以声明将作为请求体的一部分所接收的单一值。你还可以指示 FastAPI 在仅声明了一个请求体参数的情况下，将原本的请求体嵌入到一个键中。