《深入浅出LLM基础篇》：大模型概念与发展（附教程）

于 2025-04-03 14:13:36 发布
阅读量1.1k 收藏 16
点赞数 23
文章标签： 人工智能 langchain AI大模型 LLM 知识库 大模型 大模型应用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/DEVELOPERAA/article/details/146979975
版权

一、大模型概念

大规模语言模型（LargeLanguageModels，LLM），也称大规模语言模型或大型语言模型，是一种由包含数百亿以上参数的深度神经网络构建的语言模型，使用自监督学习方法通过大量无标注文本进行训练。自2018年以来，Google、OpenAI、Meta、百度、华为等公司和研究机构都相继发布了包括BERT[1]，GPT[6]等在内多种模型，并在几乎所有自然语言处理任务中都表现出色。

2019年大模型呈现爆发式的增长，特别是2022年11月ChatGPT（ChatGenerativePre-trainedTransformer）发布后，更是引起了全世界的广泛关注。用户可以使用自然语言与系统交互，从而实现包括问答、分类、摘要、翻译、聊天等从理解到生成的各种任务。大型语言模型展现出了强大的对世界知识掌握和对语言的理解。

在这里插入图片描述

在这里插入图片描述

一般来说大模型（Pretrained Foundation Model，Large Language Model）满足如下条件：

  1. 百亿级别参数量，GPT3 175B，Ernie-3.0 260B，llama 65B，PaLM 540B

  2. 具备一定的零示例和少示例预测能力，即预训练之后不需要或者需要少量样本就能解新任务

  3. 具备突现能力（emergent ability）

    （1）量变引发质变：模型效果随参数量/训练计算量/训练数据数量&质量增加出现近乎跳变般的提升 （2）不可预测，不能通过小模型的效果外推

自然语言处理发展

下面回顾人工智能发展的三个阶段

  • 1.人工智能的⼀个 要目标是让机器能听会说，能理解会思考
  • 2.目前人工智能技术正处在从感知智能到认知智能跨越的时间节点
  • 3.自然语⾔处理（NLP）是认知智能中的要内容，是通往强人工智能的必经之路

自然语言处理与图像、语音不同，语言是高度抽象的产物，其基本组成单位并不是明确的物理 。

  • 自然语言表示的发展⼀定程度上反映了自然语言处理的发展
  • 自然语言表示的变迁很大程度影响着自然语言处理的范式
  • 从离散到连续，从上下文无关到上下文相关，从浅层到深层

在这里插入图片描述

二、大模型发展时间线：

在这里插入图片描述

三、大模型分类

2018年，OpenAI和Google分别推出GPT与BERT，打开了自然语言处处理新篇章，开启“预训练+精调”新范式 根据⾯向的任务类型，相关预训练模型也⼤致分为两⼤类：自然语言处理解（NLU）、自然语言处⽣成（NLG）

在这里插入图片描述

在这里插入图片描述

开源大模型汇总

在这里插入图片描述

闭源大模型汇总

在这里插入图片描述

四、大语言模型范式发展

新范式：预训练+上文学习（In Context Learning） 在这里插入图片描述

大模型语言构建流程

在这里插入图片描述 1.预训练（Pretraining）阶段需要利用海量的训练数据，包括互联网网页、维基百科、书籍、GitHub、论文、问答网站等，构建包含数千亿甚至数万亿单词的具有多样性的内容。

2.有监督微调（SupervisedFinetuning），也称为指令微调（InstructionTuning），利用少量高质量数据集合，包含用户输入的提示词（Prompt）和对应的理想输出结果。用户输入包括问题、闲聊对话、任务指令等多种形式和任务。

3.奖励建模（RewardModeling）阶段目标是构建一个文本质量对比模型，对于同一个提示词，SFT 模型给出的多个不同输出结果的质量进行排序。奖励模型（RM模型）可以通过二分类模型，对输入的两个结果之间的优劣进行判断。RM模型与基础语言模型和SFT模型不同，RM模型本身并不能单独提供给用户使用。奖励模型的训练通常和SFT模型一样，使用数十块GPU，通过几天时间完成训练。

4.强化学习（ReinforcementLearning）阶段根据数十万用户给出的提示词，利用在前一阶段训练的RM模型，给出SFT模型对用户提示词补全结果的质量评估，并与语言模型建模目标综合得到更好的效果。该阶段所使用的提示词数量与有监督微调阶段类似，数量在十万量级，并且不需要人工提前给出该提示词所对应的理想回复。

五、大模型预训练挑战

模型大小几乎呈指数增长，大模型训练面临新挑战：

  1. 成本高

（1）GPT-175B一次训练光计算资源消耗1200万美元

css
复制代码
  a. 采用A100的GPU，算力峰值在312TFLOPS。

  b. OpenAI定义的GPT-3 175B模型，算力总需求是3.64E+03 PFLOPS For One Day，不考虑内存限制，即单张A100卡训练 3640*1024 / 312 = 11946 days。

  c. 假定我们使用1000张A100，并且能够将算力打满（现实情况是几乎不可能，整体的使用率达到90%已经是优化的很极限的程序了），大约11天可以训练完成。

（2）业界方案：predictive scaling（GPT4核心工作）

《深入浅出LLM 》（一）：大模型概念综述

在这里插入图片描述

一、大模型概念

大规模语言模型（LargeLanguageModels，LLM），也称大规模语言模型或大型语言模型，是一种由包含数百亿以上参数的深度神经网络构建的语言模型，使用自监督学习方法通过大量无标注文本进行训练。自2018年以来，Google、OpenAI、Meta、百度、华为等公司和研究机构都相继发布了包括BERT[1]，GPT[6]等在内多种模型，并在几乎所有自然语言处理任务中都表现出色。2019年大模型呈现爆发式的增长，特别是2022年11月ChatGPT（ChatGenerativePre-trainedTransformer）发布后，更是引起了全世界的广泛关注。用户可以使用自然语言与系统交互，从而实现包括问答、分类、摘要、翻译、聊天等从理解到生成的各种任务。大型语言模型展现出了强大的对世界知识掌握和对语言的理解。

在这里插入图片描述

在这里插入图片描述

一般来说大模型（Pretrained Foundation Model，Large Language Model）满足如下条件：

  1. 百亿级别参数量，GPT3 175B，Ernie-3.0 260B，llama 65B，PaLM 540B

  2. 具备一定的零示例和少示例预测能力，即预训练之后不需要或者需要少量样本就能解新任务

  3. 具备突现能力（emergent ability）

    （1）量变引发质变：模型效果随参数量/训练计算量/训练数据数量&质量增加出现近乎跳变般的提升 （2）不可预测，不能通过小模型的效果外推

自然语言处理发展

下面回顾人工智能发展的三个阶段

  • 1.人工智能的⼀个 要目标是让机器能听会说，能理解会思考
  • 2.目前人工智能技术正处在从感知智能到认知智能跨越的时间节点
  • 3.自然语⾔处理（NLP）是认知智能中的要内容，是通往强人工智能的必经之路

自然语言处理与图像、语音不同，语言是高度抽象的产物，其基本组成单位并不是明确的物理 。

  • 自然语言表示的发展⼀定程度上反映了自然语言处理的发展
  • 自然语言表示的变迁很大程度影响着自然语言处理的范式
  • 从离散到连续，从上下文无关到上下文相关，从浅层到深层

在这里插入图片描述

二、大模型发展时间线：

在这里插入图片描述

三、大模型分类

2018年，OpenAI和Google分别推出GPT与BERT，打开了自然语言处处理新篇章，开启“预训练+精调”新范式 根据⾯向的任务类型，相关预训练模型也⼤致分为两⼤类：自然语言处理解（NLU）、自然语言处⽣成（NLG）

在这里插入图片描述

在这里插入图片描述

开源大模型汇总

在这里插入图片描述

闭源大模型汇总

在这里插入图片描述

四、大语言模型范式发展

新范式：预训练+上文学习（In Context Learning） 在这里插入图片描述

大模型语言构建流程

在这里插入图片描述 1.预训练（Pretraining）阶段需要利用海量的训练数据，包括互联网网页、维基百科、书籍、GitHub、论文、问答网站等，构建包含数千亿甚至数万亿单词的具有多样性的内容。

2.有监督微调（SupervisedFinetuning），也称为指令微调（InstructionTuning），利用少量高质量数据集合，包含用户输入的提示词（Prompt）和对应的理想输出结果。用户输入包括问题、闲聊对话、任务指令等多种形式和任务。

3.奖励建模（RewardModeling）阶段目标是构建一个文本质量对比模型，对于同一个提示词，SFT 模型给出的多个不同输出结果的质量进行排序。奖励模型（RM模型）可以通过二分类模型，对输入的两个结果之间的优劣进行判断。RM模型与基础语言模型和SFT模型不同，RM模型本身并不能单独提供给用户使用。奖励模型的训练通常和SFT模型一样，使用数十块GPU，通过几天时间完成训练。

4.强化学习（ReinforcementLearning）阶段根据数十万用户给出的提示词，利用在前一阶段训练的RM模型，给出SFT模型对用户提示词补全结果的质量评估，并与语言模型建模目标综合得到更好的效果。该阶段所使用的提示词数量与有监督微调阶段类似，数量在十万量级，并且不需要人工提前给出该提示词所对应的理想回复。

五、大模型预训练挑战

模型大小几乎呈指数增长，大模型训练面临新挑战：

  1. 成本高

（1）GPT-175B一次训练光计算资源消耗1200万美元

css
复制代码
  a. 采用A100的GPU，算力峰值在312TFLOPS。

  b. OpenAI定义的GPT-3 175B模型，算力总需求是3.64E+03 PFLOPS For One Day，不考虑内存限制，即单张A100卡训练 3640*1024 / 312 = 11946 days。

  c. 假定我们使用1000张A100，并且能够将算力打满（现实情况是几乎不可能，整体的使用率达到90%已经是优化的很极限的程序了），大约11天可以训练完成。

（2）业界方案：predictive scaling（GPT4核心工作）

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

LLM大模型
关注
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值