ChatGPT发展计划曝光：正在考虑开源GPT-3

专注AIGC领域的专业社区，关注GPT-4、百度文心一言、华为盘古等大语言模型（LLM）的发展和应用落地，以及国内LLM的发展和市场研究，欢迎关注！

‍5月30日，HumanLoop的联合创始人Raza Habib表示，上周他曾与OpenAI 联合创始人Sam Altman以及其他 20 位开发者进行了一次闭门会议，讨论了关于 OpenAI 接下来的发展计划。

其中，Sam透露了OpenAI一项重要决议，正在考虑开源GPT-3。尚未开源的部分原因是，OpenAI怀疑没有多少公司和个人有能力托管如此大的大语言模型。

以下是重点讨论内容：

1、OpenAI严重受GPU限制

目前 OpenAI 非常受 GPU 限制，这推迟了他们的许多短期计划。最大的客户抱怨是关于 API 的可靠性和速度。Sam 表示，大部分问题是 GPU 短缺造成的。

ChatGPT此前支持的 32k tokens 上下文功能还不能推广给更多的人，OpenAI 还有一些问题需要解决，因此，尽管他们可能很快就会有 100k - 1M 的 tokens 上下文窗口（今年内），但还都需要在研究上取得突破。

微调 API 也受限于 GPU 资源。他们还没有使用像 Adapters 或 LoRa 这样的高效微调方法，因此微调运行和管理非常消耗计算资源。

未来会有更好的微调方式。他们甚至可能会主持一个社区贡献模型的市场。专用容量供应同样受限于 GPU 资源。

OpenAI 为有私有需求的客户提供了专用容量，可以让客户在专用的空间运行私人数据。要访问此服务，客户需要预支10万美元。

2、OpenAI路线图

Sam分享了OpenAI的API短期发展路线图。

2023年

1）更便宜、更快的GPT-4。总的来说，OpenAI要尽可能的降低API 的成本。

2）更长的上下文窗口：在不久的将来，上下文窗口可能高达100万 tokens 。

3）Finetuning API：微调API将扩展到最新的模型，但具体形式将取决于开发人员真正想要的东西。

4）记住对话历史的API：当你今天调用聊天API 时，必须反复传递相同的对话历史并一次又一次地为相同的tokens付费。将来会有一个记住对话历史记录的API版本。

2024年

多模态：作为GPT-4 版本的一部分进行演示，但在更多GPU投入使用之前，不能扩展到所有人。

3、插件“没有 PMF”并且可能不会很快出现在 API 中

许多开发人员对通过API访问 ChatGPT 插件很感兴趣，但Sam表示，这些插件不会很快发布。除了浏览之外，插件的使用表明它们还没有PMF（产品市场契合度）。

Sam指出，很多人认为他们希望自己的应用程序位于ChatGPT 之内，但他们真正想要的是应用程序中的 ChatGPT。

4、OpenAI将避免与他们的客户竞争——除了类ChatGPT产品

有不少开发者表示，他们担心在 OpenAI 可能最终发布与他们竞争的产品的情况下使用 OpenAI 的 API。Sam 表示，OpenAI 不会发布 ChatGPT 之外的更多产品。

Sam 表示，回顾历史伟大的平台都会有杀手级应用，ChatGPT将允许他们通过成为自己产品的客户来使 API 更好。

ChatGPT的愿景是成为工作的超级智能助手，但 OpenAI 不会涉及其他许多 GPT 用例不少开发人员表示，他们担心未来 OpenAI 针s对他们的产品会开发出强大的竞品，因此他们对使用 OpenAI API 持着谨慎的态度。

对此，Sam 说 OpenAI 不会在ChatGPT 之外发布更多的产品。

5、需要监管，也需要开源

虽然 Sam 呼吁对未来的模型进行监管，但他认为现有模型并不危险，并认为监管或禁止它们将是一个巨大错误。

Sam重申了对开源重要性的信念，并表示 OpenAI正在考虑开源 GPT-3。尚未开源的部分原因是，他怀疑没有多少公司和个人有能力托管、服务如此大的大语言模型。

6、比例定律仍然成立

最近有很多文章声称“巨型AI模型的时代已经结束” d。这种表达是不准确的。

OpenAI的内部数据表明，模型性能的比例定律继续存在，使模型变大将继续产生性能。扩展的速度无法维持，因为 OpenAI 在短短几年内就将模型放大了数百万倍，而这种做法在未来将无法持续。

这并不意味着 OpenAI 不会继续尝试让模型变得更大，这只是意味着它们的规模每年可能会增加一倍或三倍，而不是增加许多数量级。

事实上，扩大模型规模对 AGI 开发的时间表有重大影响。扩大规模的理念是，我们可能已经有构建 AGI 所需的大部分工作，剩下的大部分工作将采用现有的方法，并将它们扩展到更大的模型和更大的数据集。

如果“巨型AI模型的时代已经结束”，那么我们离AGI 会很遥远。

本文素材来源Humanloop ，如有侵权请联系删除

END