李宏毅LLM——ChatGPT原理剖析

已于 2024-01-16 21:55:45 修改
阅读量742 收藏 8
点赞数 13
文章标签： chatgpt
于 2024-01-16 20:08:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lalala12ll/article/details/135633011
版权

文章目录


ChatGPT原理剖析

Chat-GPT引言

  • 直观感受：结果有模有样、每次输出结果都不同、可以追问、幻想出的答案
  • 误解：罐头回答、答案是网络搜索的结果
  • 真正做的事：文字接龙，function，几率分布 -> 采样
    在这里插入图片描述
    不仅包含现在的输入还有过去的输入，大语言模型 = 文字接龙
    在这里插入图片描述
    训练：寻找函数的过程，使用了网络资料
    测试：没有联网
    在这里插入图片描述

关键技术——预训练

在这里插入图片描述
一般的机器学习：
督导式学习
在这里插入图片描述

最低0.47元/天 解锁文章
李日音
关注
[PPT] 李宏毅chatgpt，生成式ai
liguandong
03-27 4224
上面两张图是在测试语言模型是否真的有判断能力，蓝色是没有输入prompts，橙色是输入了正确的prompts，红色是输入错误的prompts，但是红色输入错误的promots，模型的输出并没有错很多。给模型输入一些不相关的prompt，看模型的输出，橙色给的正确答案，红色是错误答案，紫色是无关答案，蓝色没给prompt，给机器的promot很重要，prompt其实就是提示它做什么任务。模型越大，从context中学习到的能力越强，颜色越深，打乱label之后学习能力改变越明显，甚至给错误的答案他能反着学。
AIGC领域引导生成的算法原理剖析
最新发布
大模型应用工坊
04-24 637
AIGC技术（如GPT、Stable Diffusion）已能生成高质量文本、图像、音频等内容，但早期模型存在"生成结果随机度过高"的问题——用户难以精确控制生成内容的风格、主题或细节（例如要求"生成一张梵高风格的海景画"）。本文聚焦"引导生成"这一关键技术，覆盖其核心概念、算法原理、数学模型、实战案例及应用场景，旨在帮助开发者理解如何通过条件约束实现AIGC的精准控制。第2章：解析引导生成的核心概念与分类；第3章：深入讲解扩散模型、提示工程等主流引导算法的原理；
李宏毅-ELMO, BERT, GPT
布纸所云
02-29 868
李宏毅-ELMO, BERT, GPT 参考资料 笔记 教学视频 课件 引言 One-of-Hot: 词汇鸿沟 Word-embedding: 语义相近的词在向量空间上也比较近 同一个词汇也会有不同的意思： Have you paid that money to the bank yet ? It is safest to deposit your money in the bank. The ...
李宏毅-ELMO, BERT, GPT讲解笔记
solejay
05-25 742
背景知识 NLP 中词的表示 one-hot embedding(1-of-N Encoding) 缺点：词汇之间的关联没有考虑，因为不同词之间的距离都是一样的 word class word embedding(word2vec) 缺点：一词多义的问题无法解决 Have you paid that money to the bank yet? They stood on the river bank to fish. 上面两句话中的 bank 显然不是同一意思，因此用同一个 embedding
【亲测】成功安装flash-attn
不负如来不负卿
02-28 3760
大模型安装flash-attn加速
李宏毅机器学习2021——GPT
weixin_45366750的博客
09-18 809
自监督学习的典型模型，除了BERT，还有GPT。 GPT的任务本质是预测得到一个seq的一部分，预测下一个字（predict next token）。相当于Transformer的decoder 01-输入begin of sequence，输出第一个字 02-输入BOS和第一个字，输出第二个字 重复以上步骤 注：GPT的模型非常大，微调参数都能耗费很大的计算量。 ...
【一文读懂】大语言模型
weixin_52836217的博客
11-29 1375
介绍了目前最火的大语言模型，一文带你理解大语言模型相关基础知识。
LLM 是如何工作的？ 大型语言模型 Large Language Model GPT4 什么是生成式人工智能 那 Transformer 模型 Attention注意力机制 掩码学习
万有文的博客
04-12 1040
GPT 和 LLM 玩「单字接龙」游戏和这一切的能力又有什么关系呢我们不妨想象一下，我们作为人类，是如何理解一句话的。接下来，我现在希望大家先和我一起做一个思想实验。我想请问各位，当我们在写考试这样紧张的环境下书写自由答题类题目的答案的时候和别人打电话的时候在进行临时的即兴演讲的时候都是如何组织语言和造句的？向前思考：有一部分思维在思考接下来要说的内容的结构。
李宏毅对ChatGPT的原理剖析—包括常见误解、背后的预训练和其所带来的研究问题...
zenRRan的博客
02-26 740
一天前，李宏毅老师突然在youtube上更新里了三个关于【生成式AI】ChatGPT 原理剖析的视频和一个使用ChatGPT玩文字冒险游戏的视频，很有深度，所以我搬到了视频号上了，请大家享用~【生成式AI】ChatGPT 原理剖析 (1/3) — 對 ChatGPT 的常見誤解【生成式AI】ChatGPT 原理剖析 (2/3) — 預訓練 (Pre-train)預訓練 (Pre-train) ak...
【LLM GPT】李宏毅大型语言模型课程
学渣的博客
06-14 2435
gpt的讲解
机器学习笔记：李宏毅ChatGPT课程1：刨析ChatGPT
qq_40206371的博客
08-06 886
改一个错误，可能会让很多原来对的地方的回答错误。更正错误（neural editing）偵測 AI 生成的物件。
ChatGPT原理——李宏毅2023机器学习的学习笔记
fantastick99的博客
03-24 3963
所谓文字接龙，就是：第一次把问题（“什么是机器学习”）输入ChatGPT模型，然后模型对比接下来要输出那个文字的可能性最高，就把这个文字添加到问题的最后，变成下一次模型的输入。直到Chat GPT模型认为 结束符号 出现的可能性最高时，模型便停止输出，然后我们就能看到最终的输出，也就是问题的答案——"机器学习是一门很深奥的学问......。ChatGPT又发现，这句话输入后，接下来最大可能输出的文字是 “器”，再把这个字添加到第二次输入的后面。它针对每个问题的答案，都是模型即时生成的！
李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder
iwill323的博客
10-25 2507
李宏毅机器学习--self-supervised--BERT和GPT
ELMO，BERT和GPT的原理和应用总结（李宏毅视频课整理和总结）
双鸭山•克里菲斯•北方孤星之堕
08-27 2930
介绍几种主流的NLP模型，ELMO，BERT，GPT 然而这不符合语言学的特点，例如：“太阳就是日”和“我日你大爷”。很明显两个“日”表达的意思并不相同，但是如果使用word2vec做静态embedding，那么神经网络看到的“日”是同样的语意。于是就延伸出带有上下文的embedding(Contextualized word embedding)。这种embeding可以保证同一个字在不同的语境下有不同的embeding。而本文介绍的三个网络都是Contextualized word embedding
李宏毅机器学习课程笔记
godblesstao的博客
02-28 1739
李宏毅机器学习课程笔记，持续更新~1. Convolutional Neural Network2. Recurrent Neural Network3. Graph Neural Network4. Generative Adversarial Network5. Auto-encoder6. Transformer7. ELMO, BERT, GPT1. Transfer Learning2. Anomaly Detection3. Attack Machine Learning Models4. Ex
李宏毅机器学习（七）GPT的野望
qq_35222729的博客
08-11 304
前情提要 前面我们有说，BERT做的是什么？ Bert做的是填空题！ GPT做的是什么？ 做的是预测接下来要出现的Token是什么？ 它里面的结构有点像Transformer中的Decoder GPT最有名的就是生成了一个关于独角兽的假新闻！ 同时也说明了它的作用就是可以写出一个文章 GPT系列很难去训练，因为太大了，也很难去fine-tune！ 但是GPT有一个很狂的想法： 就是说我们只给你少量或者没有参考样本，在给出你提示后，让你去学习出正确的答案！ 给出了42个任务！ 这些是42
【AI技术】GPT-4o背后的语音技术猜想
AI_Gump的博客
06-23 1202
本篇文章全文credit 给到 台大的李宏毅老师，李宏毅老师在机器学习上风趣幽默、深入浅出的讲解，是全宇宙学AI、讲中文学生的福音，强力推荐李宏毅老师的机器学习课程和深度学习 人工智能导论；原视频在油管，这里只能放一个B站的链接，本文中使用的所有素材和知识来自于李宏毅老师，以文字+截图的形式展现，方便大家快速阅读欢迎大家有能力多多支持李宏毅：GPT-4o背後可能的語音技術猜測。
【李沐论文精读】GPT、GPT-2和GPT-3论文精读
热门推荐
Emily的博客
03-07 1万+
zero-shot例子（这就可以看到ChatGPT雏形了）：
LLM——深入探索 ChatGPT在代码解释方面的应用研究
知来者逆的博客
06-02 1438
本质上，ChatGPT代码解释器是ChatGPT能力的延伸，它不仅增强了对代码的理解和解释，更具备了跨多种编程语言生成代码的能力。这一创新功能将ChatGPT的角色从单一的文本生成器，转变为软件开发者的重要伙伴，它在代码理解、调试，乃至于代码生成等方面提供了巨大的帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值