点击链接查看原文:GPT-4和ChatGPT大比拼,究竟谁胜?
来源:【零点有数科技】,作者许正军、袁岳
作为人工智能史上里程碑事件之一的ChatGPT,自2022年11月30日发布至今,一直备受热议。在ChatGPT热潮尚未见减弱之势,2023年3月14日,OpenAI公司继续发布新一代AI语言大模型GPT-4,并官宣称GPT-4是“OpenAI最先进的系统”“能够产生更安全、更有用的响应”。
作为同一家公司推出的同属人工智能技术驱动的自然语言处理工具(AI语言大模型),相比此前的ChatGPT,GPT-4到底有何先进之处?支持这些先进之处的底层逻辑是什么?
鉴于ChatGPT是基于GPT-3.5大模型微调形成的一个应用产品——AI聊天机器人,而GPT-4则是GPT-3.5的下一代大模型,本文将从两个层面来比较:一是从基础模型层面,比较GPT-4与GPT-3.5(作为底层逻辑);二是从应用能力层面,比较GPT-4与ChatGPT(作为先进之处)。
一、GPT-4与GPT3.5
GPT-4是OpenAI公司自2018年6月发布GPT-1以来,并历经GPT-2、GPT-3、GPT-3.5之后的最新一代AI自然语言大模型(参见下表1)。
从历代沿革来看,原理基本相同。第一,都是采用一种称之为“自回归生成”的关联统计方法;第二,都是首先采用无监督学习预训练出一个基础通用模型,然后再通过监督学习进行微调适配各种任务,最后采用“从人类反馈中强化学习”的强化学习方法,使得模型能像人类一样进行对话交流;第三,都是基于一种称之为“Transformer”的算法框架。即