大模型(LLM)到底是什么？和AI有啥关系？

最新推荐文章于 2025-06-05 17:04:30 发布

大模型零基础教程

最新推荐文章于 2025-06-05 17:04:30 发布

阅读量681

点赞数 4

文章标签：人工智能 transformer 神经网络深度学习机器学习

本文链接：https://blog.youkuaiyun.com/h1453586413/article/details/146251222

版权

简单科普一下，AI是人工智能，大模型是大语言模型（LLM）的缩写，大模型是AI领域的一个重要领域和分支。

ChatGPT爆火之前，提到AI模型一般指的是垂直模型，比如会做翻译的AI，会下围棋的AI，会对话的AI等。传统的AI都是这种只会做特定领域事情的模型，无法像人类一样，什么都会干。

如果AI什么都能干了，那叫做通用人工智能（AGI）。

2023年OpenAI发布ChatGPT4后，微软研究团队合作发布了一篇论文，《Sparks of Artificial General Intelligence: Early experiments with GPT4》。

文章讲的是GPT4的出现，让人们看到了通用人工智能所迸发出来的火花，因为AI已经突破了原先只能在特定领域发挥智能的限制，变得可以在多个领域做很多了不起的事情。

那是什么让通用人工智能变得可能了呢？这里可以简单讲讲OpenAI这家公司的故事。

00 OpenAI的故事

十年前，2015年的某一天，时任美国YC公司的CEO Sam Altman，找到了深度学习人工智能专家IIya，想要聊聊一起研究AGI的事情。

IIya是2024年诺贝尔物理学奖得主Jeffery Hinton在多伦多大学的博士生，是AlexNet的共同发明者，曾在2012年的ImageNet大赛上获得过冠军。

他和Sam Altman聊完之后，两人一拍即合，最后和马斯克以及Brockman等人共同创办了OpenAI公司，目的是为了探索和打造通用人工智能。

于是，八年之后到了2023年，就有了GPT4，这让人们看到了实现通用人工智能的可能性。

大模型这个名词就是从那个时候开始流行起来的，那大模型到底是什么呢？

以ChatGPT为例，它从无到有，主要经历了三个阶段，预训练，微调，RLHF对齐。

01 预训练阶段

这个阶段是大模型从0到1的训练阶段，它往往需要大量的数据、大量的参数、大量的算力，以及巨大的成本。

大模型和传统AI模型的区别之一，就是大。从上面的描述中可以看到，每种必备条件前面都加了一个限定条件，大量。

拿GPT系列的模型训练参数举例，2018年GPT1发布时，只有1.17亿参数，2019年GPT2发布，升级到15亿参数，等到2020年GPT3发布，参数级别达到了1750亿。

从1.17亿到15亿，最后再到1750亿。每次升级迭代的背后，都带来了大模型的能力跃迁，它变得越来越智能。

预训练阶段的训练方式，是无监督学习，指把网上的大量数据，几乎不做处理，全部丢给GPT模型学习。具体这个数据量有多大，后面会有专门的文章讨论。

预训练结束之后，得到的是一个基础模型(foundation model)，并不是我们直接看到的ChatGPT。但尽管是基础模型，它的能力已经非常惊艳了。

2021年8月，李飞飞和多位学者联合发表了一份200多页的报告《On the Opportunities and Risk of Foundation Models》，详细介绍了基础模型的机遇与挑战。

这份报告中指出，基础模型有两大特点：一个是涌现，一个是同质化。

涌现是指，综合能力的爆棚，代表一个系统的行为是隐形推动的，而不是显式构建的。基础模型就体现出了智能涌现，突然学会了很多没教过它的知识和能力。

同质化是指，基础模型的能力是智能的中心与核心，大模型的任何一点改进会迅速覆盖整个社区，但其缺陷也会被下游所继承。

简单来说，就是基础模型是后面两个阶段的基础，无论怎么样微调，或者如何用RLHF优化，最后都会多多少少带有基础模型自身所携带的缺陷。

比如说经常被人提起的，大模型的幻觉：经常会无中生有编造一些与事实不符的数据和信息。

那基础模型有哪些能力呢？

它主要包含了：语言能力、视觉能力、机器人能力、推理与搜索、人机交互以及理解的能力等。

而上面这些能力，以前都是某个AI特定领域所研究的课题，结果被大模型直接“一锅端”全具备了。

但此时的基础模型，还不能直接拿来使用，因为它现在只是鹦鹉学舌，还不知道如何按照人类的对话方式来交流，所以需要第二阶段：微调。

02 微调阶段

微调阶段做的事情，是让基础模型学会人类的对话方式，具体训练方式是采用有标注信息的数据，让模型进行有监督学习。

比如说，微调之前，大模型的使用体验是这样的：

用户问题：《战狼》的主演是谁？

模型回答：《战狼》的主演是谁？《战狼》是一部优秀的战争题材电影…

其实用户期望的回答是：吴京。

为什么会出现这种情况呢？

因为在预训练阶段，基础模型所具备的能力，本质上是续写，就是在问题的基础上，顺着上文继续往下写。所以它并不知道该如何正确的回答用户的问题。

微调阶段，就是告诉基础模型该如何正确的回答问题，只需要用少量的有标注的数据，模型就可以迅速学会人类交流的方式，然后可以正常回答用户的各种问题。

微调阶段所需要的数据和成本，和预训练相比，要少的多。所以很多公司，会直接选择在开源的预训练模型基础之上，进行微调，变成符合自家公司期待的大模型。

但是仅仅让模型学会如何说人话还不够，还要让它守规矩。就是它的回答必须符合人类的普世价值观，不能随意输出对社会有危害的信息。

因为模型的能力实在是太强了，就连你问它如何造原子弹，如何科学地抢银行，这类问题它都能给你明明白白地讲出来。

为了避免被坏人滥用，所以就需要第三个阶段：RLHF对齐阶段。

03 RLHF阶段

RLHF是Reinforcement Learning from Human Feedback的缩写，中文是“基于人类反馈的强化学习”。

这个阶段的目标就是让模型对齐人类价值观，学会什么是真善美，禁止模型输出有害信息。ChatGPT最开始的时候，这方面做的不太好，被很多网友发现很多漏洞，于是出现很多bug。

OpenAI团队发现之后，也迅速跟进和改正它们对GPT模型的限制，据说是有专门的安全团队来负责这部分工作。

那么RLHF具体是怎么操作的呢？就是通过提问模型，然后对它的回答进行反馈，回答的好，点个好评，回答的差，给个差评。

然后给模型加上一个奖励模型，遇到好评的时候，模型会努力学习并记住这种回答方式，遇到差评的时候，模型会主动避免下次出现同样的回答。

包括现在用户在使用GPT的时候，每次回答后面也有点赞和点差评的按钮，每次使用其实都是在帮助模型进行RLHF学习。

所以说，OpenAI的先发优势给它带来了一定程度上的竞争优势，因为ChatGPT是目前为止，获得用户反馈最多的大模型，而基于用户反馈不断优化迭代，是每个优秀产品的必经之路。

尾声：

简单总结一下，大模型的构建大致上经历了这三个阶段：预训练、微调、RLHF。

在预训练阶段，是大模型“自学成才”的过程，没人教没人带，凭借一己之力，无师自通，从海量数据里掌握了大量的规律和原则。

在微调阶段，有了人类老师的干预，大模型开始学会按照人类的对话方式去说话，并且很快就学会了。

在RLHF阶段，是大模型进入实战的阶段，在不断地接受人类反馈的过程中，大模型也变得越来聪明。

大模型的进化，其实像极了人类成长的过程。

一个小孩，上学之前，没人管没人约束，自由的探索；开始上学之后，有老师管教，学习各种学科知识；进入社会后，被社会各种规训，慢慢变成了这个社会所期待的样子。

但问题的关键是：人类可以被社会规训，那么大模型也可以吗？

这是值得我们每个人去思考的问题。

如果你有自己的想法，欢迎留言交流。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。至于能学习到多少就看你的学习毅力和能力了。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一、大模型全套的学习路线

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化部署

一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。