大模型入门到精通 | 一文讲清楚大模型关键词及原理（一）深度学习、LLM、预训练、微调

大模型本地部署_

已于 2025-06-27 10:11:07 修改

阅读量602

点赞数 23

CC 4.0 BY-SA版权

文章标签：深度学习 transformer gpt AI大模型大模型入门 AI 大模型

于 2025-06-27 10:09:47 首次发布

本文链接：https://blog.youkuaiyun.com/Androiddddd/article/details/148946763

一、什么是大模型？

你是不是脑子里浮现的是 OpenAI、ChatGPT、DeepSeek？还有各式各样能跳个舞、可以翻个跟头的机器人？再深入点的，还能说出训练与推理。

有没有一种感觉：就是身边的信息都在声嘶力竭的鼓吹大模型正在改变世界？恍惚自己再不学习下大模型，就马上会被世界所抛弃的感觉？

如果你有这种感觉，那就对了。因为我曾经也有这个感觉，所以在某个时间、某个瞬间，我就下定决心要躬身入局，弄清楚它的概念与原理。

所以就有了这篇文章，弄懂了它们，就已经超过了很多人；如果还明白了其原理，就达到了“砖家”级别。即使是跟别人吹牛时，也不致于内心发虚。

专业词汇阅读与理解时，肯定没有娱乐新闻有趣，希望我们一起能沉下心来，完整阅读与理解，时间不会辜负每个努力学习的人，下面我们一起进步。

二、深度学习

【人工智能】的英文单词是 artificial intelligence，即我们常说的 AI。跟它相关的还有两个专业词汇，一个是深度学习，一个是机器学习。【深度学习】英文单词是 deep learning；【机器学习】的英文单词是 machine learning。

深度学习是机器学习和人工智能领域的一个重要分支，主要聚焦于神经网络的研究。

深度学习的发展使得大语言模型能够利用海量的文本数据进行训练，从而相比于以往的方法能够捕获更深层次的上下文信息和人类语言的细微之处。因此，大语言模型在文本翻译、情感分析、问答等各类自然语言处理任务中都有显著的性能提升。
在这里插入图片描述

大语言模型的成功，一方面得益于为其提供支撑的 Transformer 架构，另一方面得益于用于训练这些模型的海量数据。这使得它们能够捕捉到语言中的各类细微差别、上下文信息和模式规律，而这些都是手动编码难以实现的。

三、LLM

大语言模型（large language model，LLM，简称大模型）是一种用于理解、生成和响应类似人类语言文本的神经网络。

这类模型属于深度神经网络(deep neural network)，通过大规模文本数据训练而成，其训练资料甚至可能涵盖了互联网上大部分公开的文本。大语言模型在理解、生成和解释人类语言方面拥有出色的能力。当我们谈论语言模型的“理解”能力时，实际上是指它们能够处理和生成看似连贯且符合语境的文本，而这并不意味着它们真的拥有像人类一样的意识或理解能力。

“大语言模型”这一名称中的“大”字，既体现了模型训练时所依赖的庞大数据集，也反映了模型本身庞大的参数规模。这类模型通常拥有数百亿甚至数千亿个参数(parameter)。

这些参数是神经网络中的可调整权重，在训练过程中不断被优化，以预测文本序列中的下一个词。下一单词预测(next-word prediction)任务合理地利用了语言本身具有顺序这一特性来训练模型，使得模型能够理解文本中的上下文、结构和各种关系。

由于大语言模型能够生成文本，因此它们通常也被归类为生成式人工智能（generative artificial intelligence，简称 generative AI 或GenAI）。

如今大多数大语言模型是使用 PyTorch 深度学习库实现的，针对特定领域或任务量身打造的大语言模型在性能上往往优于 ChatGPT 等为多种应用场景而设计的通用大语言模型。这样的例子包括专用于金融领域的模型和专用于医学问答的大语言模型。使用定制的大语言模型具有多个优势，尤其是在数据隐私方面。例如，出于机密性考虑，公司可能不愿将敏感数据共享给像 OpenAI 这样的第三方大语言模型提供商。此外，如果开发较小的定制的大语言模型，那么就可以将其直接部署到客户设备（笔记本电脑和智能手机）上。

这也是大模型企业落地正在探索的方向。本地部署可以显著减少延迟并降低与服务器相关的成本。

四、【预训练】与【微调】

此外，定制的大语言模型使开发者拥有完全的自主权，能够根据需要控制模型的更新和修改。大语言模型的构建通常包括预训练(pre-training)和微调(fine-tuning)两个阶段。

预训练定义：预训练是利用大规模通用数据对模型进行初步训练，使其学习数据中的通用特征和规律，为后续特定任务学习奠定基础的过程。

“预训练”中的“预”表明它是模型训练的初始阶段，此时模型会在大规模、多样化的数据集上进行训练，以形成全面的语言理解能力。以预训练模型为基础，微调阶段会在规模较小的特定任务或领域数据集上对模型进行针对性训练，以进一步提升其特定能力。
在这里插入图片描述

预训练是大语言模型的第一个训练阶段，预训练后的大语言模型通常称为基础模型(foundation model)。

一个典型例子是 ChatGPT的前身——GPT-3，这个模型能够完成文本补全任务，即根据用户的前半句话将句子补全。此外，它还展现了有限的少样本学习能力，这意味着它可以在没有大量训练数据的情况下，基于少量示例来学习并执行新任务。

【微调】的定义：微调是在预训练模型基础上，通过少量特定领域数据对模型参数进行针对性优化，使其更适配具体任务的过程。微调大语言模型最流行的两种方法是【指令微调】和【分类任务微调】。

在指令微调(instruction fine-tuning)中，标注数据集由“指令−答案”对（比如翻译任务中的“原文−正确翻译文本”）组成。在分类任务微调(classification fine-tuning)中，标注数据集由文本及其类别标签（比如已被标记为“垃圾邮件”或“非垃圾邮件”的电子邮件文本）组成。