大模型入门学习笔记（非常详细）零基础入门到精通，收藏这一篇就够了

一、认识大模型

1.1 从人工智能到大模型的演变

学完本文后，你将能够：

• 掌握大模型的特点、重要概念以及工作方式

• 了解大模型的基本概况和产品矩阵

• 了解大模型，尤其是大语言模型的应用场景和示例

大模型是人工智能领域的一个重要里程碑，它推动了人工智能技术的发展，并为人类的未来带来新的可能性。有人曾经类比，大模型的发明相当于人类文明的哪个节点？一个浪漫的答案可能是：人类学会使用火的时刻。

人工智能按照技术实现的不同可被划分为多个子领域，各个子领域之间往往相互关联和影响。

1、机器学习

机器学习(Machine Learning，ML).机器学习是一门研究计算机如何在没有明确编程的情况下，通过对数据进行分析、学习，自动改进其行为或做出预测的学科。关键概念:监督学习、无监督学习、强化学习

• 机器学习旨在使计算机系统具备从经验中学习的能力，以适应新情况、解决问题或完成特定任务。

• 机器学习可以分为监督学习、无监督学习与强化学习，以教一个孩子区分不同的水果为例:

• 监督学习与无监督学习都需要你明确地告诉机器(或者说孩子)数据的特征(形状与颜色)是什么。

• 监督学习的工作模式为:你拿着一个苹果和一个香蕉，告诉孩子:“这是苹果，它的形状是圆的，颜色通常是红色或绿色;这是香蕉，它的形状是长条形，颜色通常是黄色。”孩子会学习到特征与类别的对应关系，预测出新拿出的水果是苹果还是香蕉。监督学习需要在机器进行学习时人为提供数据对象的类别(如苹果或香蕉)。

• 无监督学习的工作模式为:你让孩子观察一堆水果，没有直接告诉他每一个水果的名称。无监督学习一般没有预设的类别标识，通过机器自动学习数据的分布并将相似的数据对象归为同类(如红色圆形是苹果)。

• 强化学习的工作模式为:你不会直接教孩子苹果和香蕉的区别，而是每次展示一个水果让他进行判断。如果他判断正确，就给他一个奖励(比如一块糖果);如果判断错误，则不给奖励。通过反复尝试和反馈，孩子会通过这种奖励机制逐渐学习到如何更准确地判断苹果和香蕉。这种学习过程中的关键在于孩子需要在探索新的判断方法和利用已有经验之间找到平衡，以最大化获得奖励的次数。

2、深度学习

深度学习是机器学习的一个分支，主要使用神经网络模型(由多个隐藏层组成)对数据进行学习和表示。深度学习算法试图模拟人类大脑的工作方式，其灵感来源于神经生物学，它通过对大量数据的学习，自动提取出数据的高层次特征和模式，从而实现图像识别、语音识别、自然语言处理等任务。按照架构的不同，神经网络可以分为:卷积神经网络(CNNS)、循环神经网络(RNNs)、Transformer网络等等。关键概念:神经网络、CNNS、RNNs、Transformer

同样是区分不同水果，这次你带着孩子去了超市，那里有各种不同的水果。你没有解释每种水果的特点，只是给孩子指出了哪些是苹果哪些是香蕉，他通过观察和比较，慢慢学会了辨认各种水果。在这个过程中，孩子的大脑(在这里比喻为深度学习模型)自动从复杂的视觉、嗅觉等信号中提取层次化的特征，比如圆形、条纹、颜色深浅、气味等，从而达到识别水果的目的。

3、生成式人工智能

生成式人工智能(Generative Al)生成式人工智能又是深度学习中快速增长的子集，23 年热门模型和应用 ChatGPT、StableDiffusion 等都属于生成式人工智能领域，它们使用了大模型提供支持，在大量原始、未标记的数据基础上对深度学习模型进行预训练，使得机器能够“理解”语言甚至图像，并能够根据需要自动生成内容。而在这一领域，阿里云提供了能帮助 AI开发所需的一系列工具和所需的模型，无论你是模型开发者、模型应用人员或是使用 AI用户，都可以根据自己及企业的具体需求灵活地选择 AI 服务。

1.2 大模型，它来了！

2021年，斯坦福大学的研究员团队发表了一篇论文，提出了Foundational Models（基础模型，即大模型）的概念。简单来说，它是一类具有大量参数（通常在十亿以上），能在极为广泛的数据上进行训练，并适用于多种任务和应用的预训练深度学习模型。

• 大模型通过广泛数据集的训练后，可以适用于多种多样的需求

2022年11月，OpenAI公司发布了ChatGPT——一种先进的人工智能语言模型，专为对话交互而设计，具有强大的自然语言理解和生成能力，可以完成撰写论文、邮件、脚本、文案、翻译、代码等任务。ChatGPT的发布标志着AI大模型在语言理解与生成能力上的重大突破，对全球AI产业产生了深远影响，开启了人工智能大模型应用的新篇章。

大模型是如何通过训练得到的，可以看下边这张图：

• 大模型的训练整体上分为三个阶段：预训练、SFT（监督微调）以及RLHF（基于人类反馈的强化学习）。

1、预训练

预训练（Pre-training）：预训练的过程类似于从婴儿成长为中学生的阶段，在这个阶段我们会学习各种各样的知识，我们的语言习惯、知识体系等重要部分都会形成；对于大模型来说，在这个阶段它会学习各种不同种类的语料，学习到语言的统计规律和一般知识。但是大模型在这个阶段只是学会了补全句子，却没有学会怎么样去领会人类的意图，假设我们向预训练的模型提问：“埃菲尔铁塔在哪个国家？”模型有可能不会回答“法国”，而是根据它看到过的语料进行输出：“东方明珠在哪个城市？”这显然不是一个好的答案，因此我们需要让它能够去遵循人类的指示进行回答，这个步骤就是SFT（监督微调）。

• 人类成长的过程实质上是不断预训练的过程，这与机器的预训练过程略有不同。

2、监督微调

监督微调（SFT，Supervised Fine Tuning）：SFT的过程类似于从中学生成长为大学生的阶段，在这个阶段我们会学习到专业知识，比如金融、法律等领域，我们的头脑会更专注于特定领域。对于大模型来说，在这个阶段它可以学习各种人类的对话语料，甚至是非常专业的垂直领域知识，在监督微调过程之后，它可以按照人类的意图去回答专业领域的问题。这时候我们向经过SFT的模型提问：“埃菲尔铁塔在哪个国家？”模型大概率会回答“法国”，而不是去补全后边的句子。这时候的模型已经可以按照人类的意图去完成基本的对话功能了，但是模型的回答有时候可能并不符合人类的偏好，它可能会输出一些涉黄、涉政、涉暴或者种族歧视等言论，这时候我们就需要对模型进行RLHF（基于人类反馈的强化学习）。

3、基于人类反馈的强化学习

基于人类反馈的强化学习（RLHF，Reinforcement Learning from Human Feedback）：RLHF的过程类似于从大学生步入职场的阶段，在这个阶段我们会开始进行工作，但是我们的工作可能会受到领导和客户的表扬，也有可能会受到批评，我们会根据反馈调整自己的工作方法，争取在职场获得更多的正面反馈。对于大模型来说，在这个阶段它会针对同一问题进行多次回答，人类会对这些回答打分，大模型会在此阶段学习到如何输出分数最高的回答，使得回答更符合人类的偏好。

1.3 大模型的特点

基础模型（大模型）主要有以下四个特点：

1.4 大模型的分类

按照应用场景，大模型可以大致分为以下四类：大语言模型(LLM)、多模态模型、计算机视觉模型、音频处理模型

1、大语言模型

大语言模型（LLM）：这类大模型专注于自然语言处理（NLP），旨在处理语言、文章、对话等自然语言文本。

它们通常基于深度学习架构（如Transformer模型），经过大规模文本数据集训练而成，能够捕捉语言的复杂性，包括语法、语义、语境以及蕴含的文化和社会知识。

语言大模型典型应用包括文本生成、问答系统、文本分类、机器翻译、对话系统等。示例包括：

• GPT系列（OpenAI）：如GPT-3、GPT-3.5、GPT-4等。

• Bard（Google）：谷歌推出的大型语言模型，用于提供信息丰富的、有创意的文本输出。

• 通义千问（阿里云）：阿里云自主研发的超大规模的语言模型。

2、多模态模型

多模态模型：多模态大模型能够同时处理和理解来自不同感知通道（如文本、图像、音频、视频等）的数据，并在这些模态之间建立关联和交互。

它们能够整合不同类型的输入信息，进行跨模态推理、生成和理解任务。多模态大模型的应用涵盖视觉问答、图像描述生成、跨模态检索、多媒体内容理解等领域。

• 视觉+文本：包括VQA视觉问答，图像字幕，图文检索、文生图等应用。

• 音频+文本：包括语音生成、语音摘要、语音识别等应用。

• 音频+视觉：包括音生图、演讲人脸生成等应用。

1.5 阿里云的大模型探索

通义千问是阿里云自主研发的超大规模的语言模型，致力于实现类人智慧的通用智能，在复杂指令理解、文学创作、通用数学、代码理解生成、知识记忆等能力上均达到领先水平。它可以与用户进行多轮对话，支持多种语言，还能处理多种分辨率和规格的图像，实现多语言多模态理解。

1、通义大模型产品家族

2、百炼大模型服务平台

百炼大模型服务平台是基于阿里云通义大模型构建的，面向企业开发者、个人开发者及ISV合作伙伴提供通义系列大模型、三方大模型等调用、模型训练开发及大模型应用构建的服务平台。提供完整的模型训练工具和全链路开发套件，预置丰富的应用插件，提供便捷的集成方式，结合企业专属数据和 API，帮企业高效完成大模型应用构建。

在后续课程中，我们将基于百炼平台进行实操部分的练习。

1.6 大模型是如何工作的

大模型的工作流程可以分为两部分，第一部分是分词化与词表映射，第二部分为生成文本。

1、分词与词表映射

分词化（Tokenization）是自然语言处理（NLP）中的重要概念，它是将段落和句子分割成更小的分词（token）的过程。举一个实际的例子，以下是一个英文句子：

I want to study ACA.

为了让机器理解这个句子，对字符串执行分词化，将其分解为独立的单元。使用分词化，我们会得到这样的结果:

[‘I’ ,‘want’ ,‘to’ ,‘study’ ,‘ACA’ ,‘.’]

将一个句子分解成更小的、独立的部分可以帮助计算机理解句子的各个部分，以及它们在上下文中的作用，这对于进行大量上下文的分析尤其重要。分词化有不同的粒度分类：

• 词粒度（Word-Level Tokenization）分词化，如上文中例子所示，适用于大多数西方语言，如英语。

• 字符粒度（Character-Level）分词化是中文最直接的分词方法，它是以单个汉字为单位进行分词化。

• 子词粒度（Subword-Level）分词化，它将单词分解成更小的单位，比如词根、词缀等。这种方法对于处理新词（比如专有名词、网络用语等）特别有效，因为即使是新词，它的组成部分（子词）很可能已经存在于词表中了。

每一个token都会通过预先设置好的词表，映射为一个 token id，这是token 的“身份证”，一句话最终会被表示为一个元素为token id的列表，供计算机进行下一步处理。

每一个token都会通过预先设置好的词表，映射为一个 token id，这是token 的“身份证”，一句话最终会被表示为一个元素为token id的列表，供计算机进行下一步处理。

这两句话包含了16个tokens

2、大语言模型生成文本的过程

大语言模型的工作概括来说是根据给定的文本预测下一个token。对我们来说，看似像在对大模型提问，但实际上是给了大模型一串提示文本，让它可以对后续的文本进行推理。

大模型的推理过程不是一步到位的，当大模型进行推理时，它会基于现有的token，根据概率最大原则预测出下一个最有可能的token，然后将该预测的token加入到输入序列中，并将更新后的输入序列继续输入大模型预测下一个token，这个过程叫做自回归。直到输出特殊token（如，end of sentence，专门用来控制推理何时结束）或输出长度达到阈值

1.7 大模型的应用

大模型的应用场景非常广泛，这里提供了三个常见的应用场景。你也可以发挥想象力，挖掘大模型的无限潜力。

1、通义智文

如果你想要通过大模型来辅助优化阅读体验，不论是浏览复杂的网页内容、深入研读学术论文，还是阅读长篇小说，都可以使用通义智文。

2、通义灵码

如果你在代码开发中遇到了问题，可以在代码编辑器中安装通义灵码插件，它可以帮助你进行代码优化、代码生成、代码解释、单元测试生成等功能。

3、通义法睿

如果你有法律方面的需求，无论是合同审核、法律咨询还是文书起草等，都可以使用通义法睿。

---

以下是广告…

大概一年前，我跟一个朋友聊天，我问她：你家孩子会玩吗？朋友嘿嘿一声笑：我管他会不会玩，只要他会学就行了。我还希望他不会玩呢。我相信习惯了鸡娃的家长都会很认同。但是你知道吗？

会玩的孩子更有未来!!!

理由很简单，人生是一场长跑。成绩只是一部分，孩子的各种能力才是最后胜出的关键，真正的王道。

江苏卫视有一档真人秀节目，叫《超脑少年团》。担任超脑舰长的老魏，是北京大学心理学系副教授魏坤琳，他在节目后深深感慨：“很多人没有意识到这一点，如果孩子能把学习当作兴趣，他的潜能才能被真正地开发。这也是节目的出发点，我们能在现场看到很多‘奇迹’的发生。”

今天，我们就给大家带来一套超级好玩、超级炫酷的英国童书。光是它的名字，就已经非常吸引孩子了，叫做**《千变万化游戏书》**。3岁开始，就能玩了。希望它能带给我们每个家庭一些美妙的奇迹。

关键是，它还能不知不觉地去训练孩子的全脑能力。它里面有100多个孩子爱玩的游戏，这些游戏的设置非常合理，科学又好玩，既能让孩子玩到停不下来，又可以全面开发孩子的左右脑，让孩子成为有未来力的超脑少年！

这是几张已经模切好的卡纸模型，只需要轻轻抠一抠，插一插，就能组装出让孩子兴奋尖叫的立体霸王龙、腕龙模型，既锻炼了孩子的动手能力，又让孩子的桌面多了一道靓丽风景。

这是一个创意性的手工。孩子们可以根据说明准备好简单的用具，我们只需要帮孩子煮好一壶咖啡或者茶，然后放凉，就可以静静地等待孩子制作一张特别有年代感的、加勒比海盗们争得头破血流的珍贵藏宝图啦。

孩子们只需要使用家里随时都备着的卡纸、剪刀、胶水以及透明胶带，就可以做出中世纪最为豪华的国王城堡，自己可以是君临天下的君主，也可以是骁勇善战的忠贞骑士。这其中，孩子需要动的不仅仅是手，更需要整体去规划，总之，特别锻炼孩子解决问题的能力。

准备一个没用过的蛋糕纸盘，按照步骤用签字笔在上面画出一个螺旋，然后涂上颜色，然后在白纸上画出三个阴森可怖的怪物……，然后一个会动的怪物风铃就做好啦。真的太太太神奇啦，孩子们的想象力和创造力就在玩这些游戏的过程中提升了几个小台阶。

随便拎几个出来，就是这个效果，很惊艳，有没有？反正我是边翻书，边感叹，这个作者太有想象力了，太有创意了。书里面还有100多个趣味的益智游戏，几乎囊括了左右脑开发的全部玩法，让孩子玩一年都停不下来玩不腻。同时，全面训练孩子的专注力、观察力、想象力、判断力、动手力、表达力、创造力、空间力、解决力等9大能力，打造孩子的最强大脑。

这套书一共有6本，其中4本主题书，2本分别是配套的贴纸书和模型书。4本主题书都是孩子们非常喜欢的话题。

它们分别是：1）《恐龙》 2）《怪物》 3）《骑士》 4）《海盗》

贴纸书里有约500张精美贴纸，大小不同，形状各异，颜色鲜艳亮丽，孩子会很喜欢，而且贴纸特别选用水性胶，进口合成丝面，既不怕撕坏，又可以多次粘贴，宝宝贴错了还能撕下来再贴；贴纸的数量还远远多于需要的数量。

模型书选用厚卡纸模切，足足有128个，孩子只需要抠一抠，插一插，就能组装近20个炫酷的立体模型哦。

心动的可以直接购买，想要了解更多内容的读者也可以继续往下看，了解一下这套书到底好在哪里。

千变万化游戏书的必买理由

1. 沉浸式场景，让孩子们尖叫的四大探险之旅

这套书有4本主题书，分别是《恐龙》《怪物》《骑士》《海盗》，每个主题都是孩子们心心念念的话题。“恐龙”就不用说了，谁家的书架上没有几本恐龙书呢！“怪物”偶尔让人有点怕怕的，但心底更多的是冲动和好奇，总之，它就像一个特殊的朋友，总是能陪伴每个孩子某个阶段的成长。“骑士”简直快成每个孩子心底的梦了，毕竟有哪个小男孩小女孩不希望自己战斗力超强无所不能呢！ “海盗”们惊险、刺激的生活，别说孩子们了，我都想逍遥一把了。毫不夸张地说，没有这类故事的童年是不完整的。如果你家还没有这类书，一定要满足一下孩子。

几十类游戏和独特的主题结合在一起，构成了一场**沉浸式的盛宴。**小朋友们既能独自沉浸其中，也可以和小伙伴，或者和父母们一起进行角色扮演。像《恐龙》，孩子可以和小伙伴一起，齐心协力帮助恐龙宝宝找妈妈。

《骑士》可以由父母扮演国王和王后，孩子手持自制的盾牌，扮成英勇的骑士，守护城堡。

2. 千变万化的100种游戏，孩子玩不腻的烧脑挑战

这套书里千变万化的100种游戏，要玩了才知道。像找不同、数一数、迷宫、涂色、方格画、配对、手工制作等等等等，只有你想不到，没有你找不到的。

这套书还有很多极具创意性的手工制作。像制作恐龙足印啊，制作海盗旗，制作骑士盾牌等等。看得见的创意，搭配随手可见的工具，动手又动脑，让孩子来一场零距离的沉浸式体验，成就感满满！！！如果你家有个手工宝宝，直接买，没错的。

这套书还有大量设计精美的贴纸，约500张，够孩子贴一阵的。这本书的贴纸和市面上的贴纸书不同，市面上基本是固定位置，孩子只要找对形状，撕下来贴上去就完事。

这套书除了有这类贴纸外，还有大量的、可以由孩子自由发挥想象的非定位贴。这个就让孩子不再是为了贴而贴，孩子在贴以前需要动脑思考要贴在哪里？为什么贴在那里合适？贴在那里会发生什么故事？

另外，这套书还特别选用水性胶，进口合成丝面，既不怕撕坏，又可以重复粘贴3-5次，宝宝贴错了还能撕下来再贴；贴纸的数量还远远多于需要的数量。

这套书还有128个设计巧妙的卡纸模切，自带模切和裁切线的纸页，参考主题书的最后一页，抠一抠，插一插，就可以做成近20个超炫酷模型。

有霸气十足的霸王龙、会飞的翼龙，还有脖子长长的腕龙；有正在冲锋陷阵的英勇骑士，有紧张的观战团成员；有奇形怪状、充满想象力的各种怪物；也有强势的海盗，海盗船……组装完这20个模型，孩子的动手能力、判断能力、空间能力、解决问题的能力，都会水涨船高。妥妥的手工小达人！！！

总之，每本书32页，6本一共192页，每一页都有游戏。丰富多样的玩法，创意满满的互动，真正做到了益智与互动并重，科普与想象力兼顾。实现了玩即是学，学就等于玩。

3.英国专家打造，玩转9大能力的全脑训练，让孩子成为超脑少年

这套书是英国专家耗时两三年才打造出来的，几乎囊括了全脑训练的所有玩法。游戏丰富多彩，但绝不是空有花架子。它的设置科学合理，全面训练孩子的专注力、观察力、想象力、判断力、动手力、表达力、创造力、空间力、解决力等9大能力，打造孩子的最强大脑。

比如《骑士》中的找不同，你需要集中注意力，才能看出他们有哪些不同。这个绝对是锻炼专注力的神器。

再比如，《海盗》中的这一页，一定要仔细观察，才能找到敌人的大炮呢！

《怪物》第8页，必须要打开想象力，才能想象画出车库里住着的怪物啊。

《骑士》第17页，根据骑士的穿着，去判断哪把盾牌是他的？锻炼孩子的判断力。

利用迷宫的二维空间结构，激发孩子的空间推理能力。

会讲故事是一种能力，你有没有发现身边一些会讲故事的人特别有魅力，孩子可以利用贴纸，去创造一个国王居住的城堡，创造自己的独特故事。

这套书使用中英双语，让孩子从有趣的故事开始浸润在英语的语言环境，提升英语表达力。

手工制作，看起来容易，做起来也需要全盘考量，判断，规划按照什么顺序去做，以及怎么做能达到最好的效果。可以算得上是一个小项目了，孩子只要能成功做完这些手工，就一定能有大收获。动手力、解决力杠杠的！即便做得不好，也一定能有新的启发。

9大能力，逐一突破，一网打尽。

4. 贴心设计，锁线装订，使用更方便

这套书是从英国引进的，原版书只有4本，贴纸部分和模型部分都穿插在主题书当中，经过孩子一通撕、一通抠的强力破坏之后，就会出现很多不完整的页码。留着吧，破破烂烂的，看着不舒服；扔了吧，又觉得怪可惜的。

咱们现在团的这套中文版呢，巧妙地拆成了6本书，把贴纸部分和模型部分都单拎出来组成一本书，孩子玩过之后，可以把抠完的2本书直接扔掉。而另外的4本还是可以完好如初地放在书架上。我家孩子太喜欢玩了，还尝试过比着抠完模型后的样子，再自制一些不同的模型卡片，然后多玩几次。

话收回来，总结一下，这是一套孩子玩一年都停不下来玩不腻的游戏书，有了这套书，孩子可以挑战超脑少年！你再也不用为孩子的聪明发愁了！

超脑少年**《千变万化游戏书****》（6册套装）**

**1）《恐龙》**让孩子们尖叫的探险之旅。带孩子走进远古神秘的侏罗纪，学会辨认各种恐龙，制作恐龙足印……

**2）《怪物》**打开想象力的探险之旅。带小朋友走进“怪兽大学”的世界，满足孩子对怪兽的想象……

**3）《骑士》**趣味十足的探险之旅。让小朋友了解历史悠久的西方骑士文化

**4）《海盗》**惊心动魄的冒险之旅。想了解神秘的海盗组织是什么样的嘛，想拥有像杰克船长一样强大的船员嘛？

**5）《贴纸》**大量精美的、撕不破的、可重复粘贴的贴纸，既能定位贴，也能随意贴。

**6）《模型》**128个卡纸模切，近20个炫酷模型，带孩子体验神奇的三维世界。

AI大模型学习福利

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享

四、AI大模型商业化落地方案

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。