深度学习-82-大语言模型LLM之基于langchain加载本地文档向量存储后检索

Ollama是建立在llama.cpp开源推理引擎基础上的大模型推理工具框架，Ollama能够在包括CPU、GPU在内的不同的硬件环境上，运行各种精度的GGUF格式大模型。
可以通过执行一个ollama run命令来运行Hugging Face上4.5万多个GGUF格式大模型，另外也可以直接加载运行ModelScope模型库上的GGUF模型。

GGUF(Georgl Gerganovs Universal Format)是一种专门为大型语言模型(LLM)设计的文件格式，由llama.cpp项目开发。这种格式的主要目标是提高模型的推理速度和优化内存占用，以适应资源受限的设备上部署大型语言模型的需求，它代表了对之前GGML(Georgl Gerganovs Machine Learning)格式的重要升级。

vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于LLM推理和服务，可以和HuggingFace无缝集成。

1 langchain

要求python版本3.9及以上。
大型语言模型（LLM）正在成为一种变革性技术，使开发人员能够构建他们以前无法构建的应用程序。然而，孤立地使用这些 LLM 通常不足以创建一个真正强大的应用程序 —— 真正的力量来自于您可以将它们与其他计算或知识来源相结合。该库旨在