AIGC学习笔记—LLM（前言）

大语言模型本身我不是很了解，但是掌握一些基础的知识点，由于要准备某个公司的二面，所以浅学一下这个技术，也是边摸索边学习......

首先，我先简单的解释一下大模型，大模型是指具有大规模参数和复杂计算结构的机器学习模型，通常由深度神经网络构建而成，拥有数十亿甚至数千亿个参数。其设计目的是提高模型的表达能力和预测性能，能够处理更加复杂的任务和数据。大模型在各种领域都有广泛的应用，包括自然语言处理、计算机视觉、语音识别和推荐系统等。通过训练海量数据，大模型可以学习复杂的模式和特征，具有更强大的泛化能力，从而对未见过的数据做出准确的预测。

ChatGPT 对大模型的解释更为通俗易懂，展现出类似人类的归纳和思考能力：大模型本质上是一个使用海量数据训练而成的深度神经网络模型，其巨大的数据和参数规模实现了智能的涌现，展现出类似人类的智能。

大模型和小模型的区别

小模型通常指参数较少、层数较浅的模型，具有轻量级、高效率、易于部署等优点，适用于数据量较小、计算资源有限的场景，例如移动端应用、嵌入式设备和物联网等。而大模型则参数较多、层数较深，具有更强的表达能力和更高的准确度，但也需要更多的计算资源和时间来训练和推理，适用于数据量较大、计算资源充足的场景，例如云端计算和高性能计算等。

当模型的训练数据和参数不断扩大，达到一定临界规模后，模型表现出一些未能预测的、更复杂的能力和特性，能够从原始训练数据中自动学习并发现新的、更高层次的特征和模式，这种能力被称为“涌现能力”。具备涌现能力的机器学习模型被认为是独立意义上的大模型，这也是其与小模型的最大区别。

大模型相关概念

• 大模型（Large Model, Foundation M