Frank's Blog

搭建一个本地知识库，会涉及到三个关键点：1、LLM Model，大语言模型，它负责处理和理解自然语言。2、Embedding Model，嵌入模型，它负责把高维度的数据转化为低维度的嵌入空间，这个数据处理过程在RAG中非常重要。3、Vector Store，向量数据库，专门用来高效处理大规模向量数据。

大型语言模型的低秩自适应 (LoRA)用于解决微调大型语言模型 (LLM) 的挑战。GPT 和 Llama 等模型拥有数十亿个参数，通常对于特定任务或领域进行微调的成本过高。LoRA 保留了预训练的模型权重，并在每个模型块中加入了可训练层。这显著减少了需要微调的参数数量，并大大降低了 GPU 内存需求。LoRA 的主要优势在于，它大幅减少了可训练参数的数量——有时最多可减少 10,000 倍——从而大大降低了 GPU 资源需求。

本文将介绍如何使用ollama+qwen2实现对开源大模型的本地化部署，让每个有技术能力的企业都可以“套壳”大模型，在各自的专业领域内“遥遥领先“。在本案例中我将使用两个开源的软件：ollama：是一个轻量级可扩展的框架，它可以轻易地帮你管理本地的众多开源大模型，并支持众多的开源大模型，包括llama 3、qwen2、gemma、codegemma、Mistral等，并允许用户自定义和创建自己的模型。