2021-06-04

微软、GPT-3和OpenAI的未来

本文来自冲浪科技翻译，AI数据需求可以联系contact@surfingtech.cn

Build的一个最大亮点是微软的年度软件开发会议，它展示了一个使用深度学习为office应用程序生成源代码的工具。该工具使用了GPT-3，这是OpenAI去年开发的一个大型语言模型，通过一个付费的应用程序编程接口提供给选定的开发人员、研究人员和初创企业。

许多人将GPT-3吹捧为下一代人工智能技术，它将带来新一代的应用和初创企业。自从GPT-3发布以来，许多开发人员已经发现了该语言模型的有趣和创新的用途。一些初创公司已经宣布，他们将使用GPT-3构建新产品或扩充现有产品。但围绕GPT-3创建一个有利可图且可持续的业务仍然是一个挑战。

微软的首款GPT-3支持的产品为大型语言模型业务以及这家科技巨头与OpenAI加深关系的未来提供了重要提示。

一些学习模型必须要做微调吗？

Microsoft使用GPT-3将自然语言命令转换为数据查询

根据微软的博客，“例如，新的人工智能支持的功能将允许员工构建一个电子商务应用程序，使用诸如“查找以“kids”开头的产品”之类的对话语言来描述编程目标。一个经过微调的GPT-3模型[emphasis mine]随后提供了将命令转换为微软Power Fx公式的选择，Power平台的开源编程语言。”

虽然没有找到微软使用的GPT-3微调版本的技术细节。但通常有两个原因可以对深度学习模型进行微调。在第一种情况下，模型不能以期望的精度执行目标任务，因此需要通过针对特定任务的示例对其进行训练来对其进行微调。

在第二种情况下，模型可以执行预期的任务，但是计算效率很低。GPT-3是一个非常庞大的深度学习模型，拥有1750亿个参数，运行成本巨大。因此，可以优化模型的较小版本，方便以计算成本的一小部分并以相同的精度执行代码生成任务。一个可能的折衷方案是，该模型在其他任务上的性能较差。

无论是哪种情况，深度学习模式的微调版本似乎与GPT-3论文中讨论的最初想法不一致，这篇论文的标题恰如其分：“语言模式是少数的短期学习者。”

这里引用了论文摘要中的一句话：“在这里，我们展示了扩展语言模型极大地提高了任务无关的、很少使用的性能，有时甚至达到了与先前最先进的微调方法相比的竞争力。”这基本上意味着，如果你建立了一个足够大的语言模型，将能够执行许多任务，而不需要重新配置或修改神经网络。

那么，针对新的目标对机器学习模型进行微调有什么意义呢？这就是科学研究和应用人工智能的世界发生碰撞的地方。

学术研究VS商业人工智能

学术研究和商业产品开发之间有着明确的界限。在学术人工智能研究中，其目标是推动科学的前进，这正是GPT-3所做的。OpenAI的研究人员表明，只要有足够的参数和训练数据，一个单一的深度学习模型就可以执行多个任务，而无需再培训。他们在几个流行的自然语言处理基准上测试了这个模型。

但在商业产品开发中，并不是只运行GLUE和SQuAD等基准测试，这里必须解决一个特定的问题——基于规模和成本效益的方式。

因此，如果一个深度学习模型，能够以90%的准确率完成十个不同的任务，那就是一个伟大的科学成就。但是，当已经有10个轻度神经网络以99%的准确率和便宜的价格能够执行这些任务时，那么这个深度学习模型将无法在商业市场中竞争。

微软博客中有一句话证实了将GPT-3应用于实际业务问题的挑战：“GPT-3的巨大功能打破了自然语言学习的界限，但对于这样一个庞大而复杂的模型能否以成本效益高的方式大规模部署，以满足现实世界的业务需求，仍存在一些悬而未决的问题。”微软公司Azure AI副总裁埃里克•博伊德（Eric Boyd）说。

因为微软想要解决一个非常具体的问题，所以完整的GPT-3模型功能非常强大，部署在比较简单的业务上将浪费昂贵的资源。

因此，GPT-3与其说是产品开发平台，不如说是一项科学成果。但有了正确的资源和配置，它可以成为市场差异化的一个有价值的工具，这正是微软正在做的。

微软的优势

在一个理想的世界里，OpenAI会发布自己的产品并产生收入来资助自己的研究。但事实是，开发一个有利可图的产品比发布一个付费的API服务要困难得多。

这就是为什么OpenAI需要微软的帮助，这一决定将对人工智能研究实验室产生长期影响。2019年7月，微软在OpenAI上投资10亿美元，并附带了一些条件。

在OpenAI博客文章中写道：“OpenAI正在产生一系列越来越强大的人工智能技术，这需要大量的资金来提高计算能力。覆盖成本的最明显的方法是制造一个产品，但这意味着改变我们的重点。相反，我们打算授权一些AGI技术，微软将成为我们商业化的首选合作伙伴。”

单靠OpenAI，就很难找到进入现有市场或为GPT-3创建新市场的方法。

另一方面，微软已经具备了为OpenAI走上盈利之路的捷径所必需的条件。微软拥有第二大云基础设施Azure，它有能力补贴培训和运行OpenAI深度学习模型的成本。

但更重要的是，OpenAI之所以选择微软而不是亚马逊，是因为微软在不同行业的影响力。成千上万的组织和数百万用户正在使用微软的付费应用程序，如Office、Teams、Dynamics和Power Apps。这些应用程序为集成GPT-3提供了完美的平台。

微软的市场优势在其GPT-3的第一个应用程序中得到了充分的体现，这是一个针对非技术用户的非常简单的用例。它不应该做复杂的编程逻辑。它只是将自然语言查询转换为powerfx中的数据公式。

对于大多数经验丰富的开发人员来说，这个琐碎的应用程序无关紧要，他们会发现直接键入查询要比用散文描述查询容易得多。但微软在非科技行业拥有大量客户，它的Power Apps是为那些没有任何编码经验或正在学习编码的用户打造的。对他们来说，GPT-3可以发挥巨大的作用，有助于降低开发解决业务问题的简单应用程序的难度。

微软还有另一个有利因素。它已经获得了对GPT-3的代码和体系结构的独占访问权。虽然其他公司只能通过付费API与GPT-3交互，但微软可以定制GPT-3并将其直接集成到应用程序中，以使其高效和可扩展。

通过向初创公司和开发人员提供GPT-3 API，OpenAI创建了一个环境，可以发现具有大型语言模型的各种应用程序。与此同时，微软坐以待毙，越来越感兴趣地观察所有不同的实验。

GPT-3 API基本上是微软的一个产品研究项目。无论哪家公司发现GPT-3的任何用例，微软都将能够更快、更便宜、更准确地使用GPT-3，这要归功于它对语言模型的独家访问。这给了微软一个独特的优势，使它能够主宰大多数围绕GPT-3形成的市场。这就是为什么大多数在GPT-3 API之上构建产品的公司注定要失败的原因。

OpenAI启动基金

现在，微软和OpenAI正将合作关系提升到一个新的高度。在Biuld大会上，Altman宣布了一项1亿美元的OpenAI启动基金，将投资于早期的AI公司。

Altman在会议上说：“我们计划早期在较少的几家公司上进行大规模的押注，可能不会超过10家。”

基金会投资什么样的公司？我们正在寻找人工智能能够产生最深远积极影响的领域的初创公司，比如医疗保健、气候变化和教育，”Altman补充道，“我们也对人工智能能够推动个人协助和语义搜索等生产力飞跃的市场感到兴奋。”第一部分与OpenAI的使命一致，即利用人工智能改善人类，但第二部分是微软正在探索的盈利应用类型。

同样来自该基金的页面：“该基金由OpenAI管理，由微软和其他OpenAI合作伙伴投资。除了资金之外，OpenAI启动基金中的公司还将提前获得未来OpenAI系统的使用权、团队的支持以及Azure上的积分。”

因此，基本上，OpenAI似乎正在成为微软Azure云的营销代理，并将有助于发现未来可能有资格被微软收购的人工智能初创公司。这将加深OpenAI与微软的合作关系，并确保实验室继续从这家科技巨头那里获得资金。但这也将使OpenAI朝着成为商业实体并最终成为微软子公司的方向迈进一步。这将如何影响研究实验室对人工通用智能进行科学研究的长期目标，仍然是一个悬而未决的问题。