AIGC: 关于ChatGPT中的一些缺陷和解决之道

GPT 不是万能的

• 作为程序员, 我们相比于其他的用户而言，距离GPT其实是更进一步的
• 因此，能够让我们从程序的角度正视GPT可能存在的一些不足
• 透过现象看本质, GPT依旧是机器学习模型训练的结果
• 虽然GPT的效果很惊艳，但是它仍然没有脱离深度预训练大模型的范式
• 更多的只是一个工程上的一个突破性的进展
• 也就是说GPT不是银弹, 依然存在着各种模型所拥有的一些缺陷，也无法适用于所有的场景

1 ）缺陷1: 比较明显的缺陷

• 由于GPT还是基于训练集进行训练的, 这也导致了GPT它是依赖于训练集的
• 训练集就存在过时和知识缺失的问题，虽然随着GPT的联网能够实时的从互联网去获取相关的一些知识
• 但是训练集所造成的一些矛盾, 训练集不足导致的一些领域知识的缺失问题呢依旧存在
• 这是第一个缺陷

2 ）缺陷2

• GPT 是基于transformer架构，transformer架构对于输入的token其实是有限制的
• GPT 3.5 限制 4096 个token
• GPT 4 支持到 8k和 32k
• 这个上限对于一般的聊天问答等等的文本任务是足够的
• 借助知识库和向量召回去构建动态的上下文可以取得不错的效果
• 但是对于复杂的任务，尤其是涉及多层次背景知识的时候，那么token的限制就会成为难题
• 会导致模型很难在这些任务当中拥有一个全局