什么是AI大模型？

〇、AIGC

Generative AI（生成式AI） 所生成的内容为 AI Generated Content（AI生成内容）

1、从领域范围排序，由大到小：

AI -> 机器学习 -> 监督学习、无监督学习、强化学习（深度学习是机器学习的一个方法） -> 生成式AI（是深度学习的一种应用，利用神经网络来识别现有内容的模式和结构，学习生成新的内容）-> LLM（Large Language Model）也是深度学习的一种应用，专门用于进行自然语言处理任务

2、并不是所有生成式AI都是大语言模型，所有大语言模型并不都是生成式AI

生成图像的扩散模型不是大语言模型，并不输出文本；
google的BERT模型只能作为大语言模型完成各项NLP任务，但其不是生成式AI。

一、大语言模型

给模型一些文本输出，模型会返回一些文本输出，完成的具体任务包括生成、分类、总结、改写等。

首先需要通过大量文本语料来无监督训练；大模型的大表示 模型参数量巨大。

GPT（Generative Pre-trained Transformer）

二、transformer

《attention is All you need》

三、炼成ChatGpt

分为三步：

1. 通过无监督学习预训练，得到一个能进行文本生成的基座模型；
2. 通过一些人类撰写的高质量对话数据，对基座模型进行微调，得到一个微调后的模型；
3. 用问题和多个对应回答的数据，让人类标注员对回答进行质量排序，然后基于这些排序，训练出一个能对回答进行评分预测的奖励模型，让第二步得到的模型对问题生成回答，用奖励模型给回答进行评分，利用评分作为反馈，进行强化学习训练，得到ChatGPT。

人类标注员打分依据三H原则：Helpful、Honest和Harmless。有用、真实和无害。

四、调教ChatGpt

提示工程（Prompt Engineering）

1. 使用小样本提示：
   给大模型举几个样例，这样大模型会大概率遵循给出的示范，也就不需要额外给AI提要求，可以让其自行从前面的示范回答中学习；（AI不擅长做数学相关问题）
2. 思维链：《Chain-of-Thought Prompting Elicits Reasoning in Large Language model》
   思维链可以显著提升大语言模型进行复杂推理的能力，特别是在算术、常识和符号推理等任务上；
   给大模型的样例中，不仅包含正确的结果，同时，包含得出结果的中间计算步骤，这样模型也会模仿者样例去生成一些中间步骤，把过程进行分解，更易于模型得到正确的结果。
3. 即使不使用小样本提示，只是在问题后加一句，“请分步骤来思考”，也能提升AI得到正确答案的概率。

五、武装ChatGpt

AI大语言模型虽然博览群书，但是容易编造事实、计算不准确和数据过时等等。

可以借助一些外部工具或数据，把AI武装起来，实现思路包括 RAG（检索增强生成）、PAL（程序辅助语言模型）和ReAct（推理行动结合）。

1. RAG（检索增强生成）retrieval augmented generation

给AI大模型提供外部文档，让其访问外部知识库，获得实时且正确的数据，生成更可靠和准确的回答。

首先将外部文档切分乘一个个段落，每个段落被转化为向量，将向量储存在向量知识库中，当我们提出问题的时候，这个提示也被表示为向量。模型会查找向量数据库中和用户的查询向量最为接近的段落向量，找到之后，将段落信息和用户查询问题组合在一起，传给AI。AI将外部文档的段落作为上下文，给出更严谨的回答。

RAG有利于搭建企业知识库或个人知识库，chatgpt的一些插件是基于RAG架构的。

2. PAL（程序辅助语言模型）Program-Aided Language Models

不需要AI直接生成计算结果，而是借助其他擅长计算的工具，给AI的要求中，涉及计算过程时，AI需要生成得到计算结果所需的代码。例如：ChatGPT的Advanced Data Analysis功能。

3. React （推理行动） Reason Action

大语言模型的局限性：他所了解的知识，即训练数据具有时效性，受到训练数据日期的影响。（知识截断）

最新的知识无法得知，只能编造或者说出过时的信息。
将搜索引擎作为AI可以交互的工具，结合React框架给出回答。

不仅搜索引擎，还有代码解释器，某些应用的API，借助LangChain等框架帮助简化构建大语言模型应用程序的流程。