Paper简读 - ChatGPT相关的InstructGPT

已于 2023-05-22 16:39:32 修改
阅读量3.8k 收藏 3
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 大模型 (LLM) 文章标签： chatgpt
于 2023-02-03 14:27:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/caroline_wendy/article/details/128866056
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【ACL 2024】Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models
zik的博客
07-30 2105
Authors【Paper】【Project】由大型语言模型 (LLM) 推动的对话代理正在提供一种与视觉数据交互的新方式。虽然已经对基于图像的对话模型进行了初步尝试，但这项工作通过引入 Video-ChatGPT 解决了 \emph{基于视频的对话} 尚未开发的领域。它是一种多模态模型，将视频自适应视觉编码器与大语言模型相结合。生成的模型能够理解并生成有关视频的详细对话。数据集，定量评估框架。
ChatGPT/InstructGPT详解
强化学习曾小健
06-14 2416
GPT系列是OpenAI的一系列预训练文章，GPT的全称是Generative Pre-Trained Transformer，顾名思义，GPT的目的就是通过Transformer为基础模型，使用预训练技术得到通用的文本模型。目前已经公布论文的有文本预训练GPT-1，GPT-2，GPT-3，以及图像预训练iGPT。据传还未发布的GPT-4是一个多模态模型。最近非常火的ChatGPT和今年年初公布的[1]是一对姐妹模型，是在GPT-4之前发布的预热模型，有时候也被叫做GPT3.5。
instructGPT论文精读
yaogepila的博客
07-09 520
instructGPT论文精读
论文精读--InstructGPT
m0_73202283的博客
05-23 1107
增大语言模型的规模并不一定能使其更好地遵循用户的意图。例如，大型语言模型可能生成不真实、有毒或对用户毫无帮助的输出。换句话说，这些模型与用户并不一致。在这篇论文中，我们展示了一种通过使用人类反馈进行微调的方式来使语言模型与用户意图保持一致的方法，这适用于广泛的任务。从标注者编写的提示和通过 OpenAI API 提交的提示开始，我们收集了标注者展示所需模型行为的演示数据集，并使用这些数据集通过监督学习来微调 GPT-3。
InstructGPT论文详解（学习ChatGPT必看论文）
大模型天花板
03-16 7213
这篇文章企图解决的问题：已有的大型语言模型（例如GPT3.5）并非模型越大越好。越大的模型仍然会生成假的、有害的、简单的和没有用的内容。简单的说，得不到用户想要的内容。解决方法：1.人工引导，使用监督学习。2.强化学习，人工帮助的情况下，训练一个模型，该模型会进一步引导GPT模型生成优质的结果。实验结果使用1.3B参数的模型对比GPT-3的1750B参数模型能取得更优的性能（即能生成更优，更有用，更安全，更无害的内容，调戏过ChatGPT的人应该更有体会）。
跟李沐学ChatGPT背后技术：67分钟读透InstructGPT论文
weixin_40920183的博客
02-20 467
来源：机器之心编辑：张倩InstructGPT 和 ChatGPT 之间有很多一脉相承之处。因此，吃透 InstructGPT 论文对于想要在 ChatGPT 方向上做些工作的同学来说将大有裨益。在 ChatGPT 走红之后，很多关注技术的同学都在问一个问题：有没有什么学习资料可以让我们系统地了解 ChatGPT 背后的原理？由于 OpenAI 还没有发布 ChatGPT 相关论文，这一问题变得棘...
【ChatGPT技术应用分享】ChatGPT/InstructGPT详解
xzs51job的专栏
08-20 847
GPT系列是OpenAI的一系列预训练文章，GPT的全称是Generative Pre-Trained Transformer，顾名思义，GPT的目的就是通过Transformer为基础模型，使用预训练技术得到通用的文本模型。目前已经公布论文的有文本预训练GPT-1，GPT-2，GPT-3，以及图像预训练iGPT。据传还未发布的GPT-4是一个多模态模型。最近非常火的ChatGPT和今年年初公布的[1]是一对姐妹模型，是在GPT-4之前发布的预热模型，有时候也被叫做GPT3.5。
GPT系列：GPT1 -＞ 2 -＞ 3 -＞ InstructGPT -＞ChatGPT
weixin_36378508的博客
02-07 6003
2018年6月 GPT-1：大量数据（约5GB文本）上无监督训练，然后针对具体任务在小的有监督数据集上做微调；关键词：“scalable, task-agnostic system”；8个GPU上训练一个月；预训练模型（1.1亿参数）可下载；Improving Language Understanding with Unsupervised Learning​openai.com/blog/language-unsupervised/ 2019年2月 GPT-2：大量数据（约40GB文本）上无监督训..
【论文阅读】InstructGPT: Training language models to follow instructions with human feedback
orangerfun的博客
03-22 9120
把语言模型变大并不意味着会让模型更好的理解用户意图，例如大的语言模型会生成一些不真实、有害的、没有帮助的输出给用户，换句话说，这些模型并没有和用户的意图对齐（aligned）。在这篇论文中我们展示了通过使用用户反馈来微调模型的方法，从而使得语言模型在一系列任务上与用户意图对齐。首先通过人工撰写和OpenAI API两种方式收集问题(prompts)，然后人工来写这些问题的答案，从而构建成一个数据集，再使用这些数据集对GPT3进行有监督的微调；
ChatGPT相关博客与论文
wshzd的博客
02-17 2579
ChatGPT相关论文与博客收集
6、InstructGPT论文笔记（人类反馈指令,对齐）
最新发布
weixin_44986037的博客
12-25 1520
InstructGPT
ChatGPT/InstructGPT论文（一）
flyingluohaipeng的博客
03-31 7969
ChatGPT的论文尚未放出，也不知道会不会有论文放出，但是根据公开资料显示，其训练方式，跟OpenAI之前的一个工作——InstructGPT基本无异，主要是训练数据上有小的差异，因此我们可以从InstructGPT的论文中，窥探ChatGPT强大的秘密。本文主要（粗略）解读一下InstructGPT的论文——Training language models to follow instructions with human feedback.
关于 ChatGPT 必看的 10 篇论文
热门推荐
u010280923的博客
02-10 7万+
2022年11月，OpenAI推出人工智能聊天原型ChatGPT，再次赚足眼球，为AI界引发了类似AIGC让艺术家失业的大讨论。ChatGPT 是一种专注于对话生成的语言模型。它能够根据用户的文本输入，产生相应的智能回答。这个回答可以是简短的词语，也可以是长篇大论。其中 GPT 是 Generative Pre-trained Transformer（生成型预训练变换模型）的缩写。下面列出了学习 ChatGPT 必看的 10 篇论文。（ChatGPT 的简介可参考。
探寻ChatGPT底层模型诞生之路 —— 3篇OpenAI关键论文解读
陌北有棵树的博客
01-23 1958
本篇文章主要阅读三篇论文，分别代表着GPT、GPT2、GPT3。本文是2023.02.20发表在同名公众号「陌北有棵树」上的一篇文章，个人观点是基础理论的学习现在仍是有必要的。
[论文阅读]InstructGPT(Training language models to follow instructions with human feedback)
Harry的博客
03-31 1451
语言模型（language models）越大大并不意味着它能更好地理解用户的意图。例如，大型语言模型生成输出不真实、有毒或根本对用户没有帮助。换句话说，这些模型没有准确的理解用户想法。在此论文中，展示了一种有效的方法通过微调使语言模型与用户在各种任务上的意图保持一致与人类反馈。从一组的提示和提示开始通过 OpenAI API 提交，我们收集了已标记的范文数据集所需的模型行为，我们用它来使用有监督的方法来微调 GPT-3学习。
LLM/ChatGPT与多模态必读论文150篇(已更至第101篇)
结构之法 算法之道
03-13 3万+
2022年8月发布的Stable Diffusion基于Latent Diffusion Models，专门用于文图生成任务。总之，读的论文越多，博客内相关笔记的质量将飞速提升 自己的技术研究能力也能有巨大飞跃。且考虑到为避免上篇文章篇幅太长而影响完读率，故把这100论文的清单抽取出来独立成本文。// 23年2.27日起，本榜单几乎每天更新中。
ChatGPT｜必看 10 篇论文
鱼大
03-18 1465
ChatGPT 是一种专注于对话生成的语言模型。它能够根据用户的文本输入，产生相应的智能回答。这个回答可以是简短的词语，也可以是长篇大论。其中 GPT 是 Generative Pre-trained Transformer（生成型预训练变换模型）的缩写。本人已经收集，下载打包了该模型相关的10篇论文。
【论文阅读】Instruct GPT论文阅读
zjutkarma的博客
03-16 782
Instruct GPT 论文阅读
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ManonLegrand

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值