大模型本地部署教程 | 搭建本地AI问答系统

前言

大家好，因为对AI大模型很感兴趣，相信很多兄弟们跟我一样，所以最近花时间了解了一些，有一些总结，分享给大家，希望对各位有所帮助。 本文将讲解如何在本地搭建一个简易的AI问答系统，主要用java来实现，也有一些简单的python知识；网上很多例子都是以 ChatGPT来讲解的，但因为它对国内访问有限制，OpeAi连接太麻烦，又要虚拟账号注册账号啥的，第一步就劝退了，所以选择了 llama和qwen替代，但是原理都是一样的。

01

相关概念了解

理解，首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板，当获取到模板后进行模板加载，加载阶段会将产物转换为视图树的结构，转换完成后将通过表达式引擎解析表达式并取得正确的值，通过事件解析引擎解析用户自定义事件并完成事件的绑定，完成解析赋值以及事件绑定后进行视图的渲染，最终将

（一）大语言模型 LLM

大型语言模型（LLM，Large Language Models），是近年来自然语言处理（NLP）领域的重要进展。这些模型由于其庞大的规模和复杂性，在处理和生成自然语言方面展现了前所未有的能力。

关于LLM的一些关键点：

1.定义：

◦大模型通常指的是拥有大量参数的深度学习模型，这些模型可能包含数十亿至数万亿的参数。

◦LLM是大模型的一个子类，专门设计用于处理和理解自然语言，它们能够模仿人类语言的生成和理解过程。

2.架构：

◦LLM通常基于Transformer架构，这是一种使用自注意力机制（self-attention mechanism）的序列模型，它由多个编码器和解码器层组成，每个层包含多头自注意力机制和前馈神经网络。

3.训练：

◦这些模型在大规模文本数据集上进行训练，这使得它们能够学习到语言的复杂结构，包括语法、语义、上下文关系等。

◦训练过程通常涉及大量的计算资源，包括GPU集群和海量的数据存储。

4.应用：

◦LLM可以应用于各种自然语言处理任务，包括但不限于文本生成、问答、翻译、摘要、对话系统等。

◦它们还展示了在few-shot和zero-shot学习场景下的能力，即在少量或没有额外训练数据的情况下，模型能够理解和执行新任务。

5.发展趋势：

◦学术研究和工业界都在探索LLM的边界，包括如何更有效地训练这些模型，以及如何使它们在不同领域和任务中更具适应性。

◦开源和闭源模型的竞争也在加剧，推动了模型的持续创新和改进。

6.学习路径：

◦对于那些希望深入了解LLM的人来说，可以从学习基本的Transformer模型开始，然后逐渐深入到更复杂的模型，如GPT系列、BERT、LLaMA、Alpaca等，国内的有 qwen（通义千问）、文心一言、星火、盘古、言犀大模型（chatrhino）等 。

7.社区资源：

◦Hugging Face等平台提供了大量的开源模型和工具，可以帮助研究人员和开发者快速上手和应用LLM。

LLM的出现标志着NLP领域的一个新时代，它们不仅在学术研究中产生了深远的影响，也在商业应用中展现出了巨大的潜力。

（二）Embedding

在自然语言处理（NLP）和机器学习领域中，“embedding” 是一种将文本数据转换成数值向量的技术。这种技术将单词、短语、句子甚至文档映射到多维空间中的点，使得这些点在数学上能够表示它们在语义上的相似性或差异。

Embeddings 可以由预训练模型生成，也可以在特定任务中训练得到。常见的 embedding 方法包括：

1.Word2Vec：由 Google 提出，通过上下文预测目标词（CBOW）或通过目标词预测上下文（Skip-gram）来训练词向量。

2.GloVe：全球向量（Global Vectors for Word Representation），通过统计词共现矩阵来优化词向量。

3.FastText：Facebook 研究院提出的一种方法，它基于词 n-gram 来构建词向量，适用于稀少词和未见过的词。

4.BERT：基于 Transformer 架构的预训练模型，可以生成上下文相关的词嵌入，即“动态”词嵌入。

5.ELMo：利用双向 LSTM 语言模型生成的词嵌入，同样考虑了上下文信息。

6.Sentence Transformers：这是 BERT 的一种变体，专门设计用于生成句子级别的嵌入。

Embeddings 的主要优点在于它们能够捕捉词汇之间的复杂关系，如同义词、反义词以及词义的细微差别。此外，它们还能够处理多义词问题，即一个词在不同上下文中可能有不同的含义。

在实际应用中，embeddings 被广泛用于多种 NLP 任务，如文本分类、情感分析、命名实体识别、机器翻译、问答系统等。通过使用 embeddings，机器学习模型能够理解和处理自然语言数据，从而做出更加准确和有意义的预测或决策。

（三）向量数据库

向量数据库是一种专门设计用于存储和查询高维向量数据的数据库系统。这种类型的数据库在处理非结构化数据，如图像、文本、音频和视频的高效查询和相似性搜索方面表现出色。与传统的数据库管理系统（DBMS）不同，向量数据库优化了对高维空间中向量的存储、索引和检索操作。

以下是向量数据库的一些关键特点和功能：

1.高维向量存储：向量数据库能够高效地存储和管理大量的高维向量数据，这些向量通常是由深度学习模型（如BERT、ResNet等）从原始数据中提取的特征。

2.相似性搜索：它们提供了快速的近似最近邻（Approximate Nearest Neighbor, ANN）搜索，能够在高维空间中找到与查询向量最相似的向量集合。

3.向量索引：使用特殊的数据结构，如树形结构（如KD树）、哈希表、图结构或量化方法，以加速向量的检索过程。

4.混合查询能力：许多向量数据库还支持结合向量查询和结构化数据查询，这意味着除了向量相似性搜索之外，还可以进行SQL风格的查询来筛选结构化属性。

5.扩展性和容错性：高效的数据分布和复制策略，使得向量数据库可以水平扩展，以处理海量数据，并且具备数据冗余和故障恢复能力。

6.实时更新：允许动态添加和删除向量数据，支持实时更新࿰