开源大模型正在重塑企业AI应用，16个案例看看它们如何落地-优快云博客

各种性能优异的大模型横空出世，开源大型语言模型在企业界的应用也逐渐引起广泛关注。

不过，这也使新的问题浮出水面，企业应该怎样有效地部署和应用这些模型来发挥它们最大的价值呢？

图灵奖得主 Yann LeCun 在 X 上向大家分享了一篇 VentureBeat 的文章。其探讨了开源 LLM 在商业环境中的潜力、挑战以及它们在不同行业中的实际应用案例。

VentureBeat 和其他专家认为，开源 LLM 可能会对企业中的生成式人工智能产生更强大的影响。这种影响力可能超过了像 OpenAI 的 ChatGPT 或 Anthropic 这样的封闭模型。尽管有许多关于开源模型的实验或概念验证，但相对较少的成熟公司公开宣布他们已在实际商业应用中部署开源模型。

开源大模型遇到的问题

开源大模型的反馈循环存在延迟

开源大模型的发展和部署面临一些延迟，部分原因是它们起步较慢。例如，Meta 的 Llama 在 2023 年 2 月发布，而 OpenAI 的 ChatGPT 则在 2022 年 11 月就已公开。Mistral AI 的 Mixtral，一款表现优异的开源 LLM，也是在 2023 年 12 月才发布。虽然开源模型的实际应用案例现在还相对较少，但它们正「紧咬」封闭模型，追赶上来只是时间问题。

开源模型当前还存在一些局限性。Replit 的 CEO Amjad Masad 指出，反馈循环无法正常工作，因为人们不能轻松地为模型开发做出贡献。。不过，开源领域的实验和创新活动正在加速，开发者们正在创建越来越多基于开源模型的衍生产品，它们在某些指标上逐步实现与封闭模型的性能「平起平坐」甚至超越（例如 FinGPT、BioBert、Defog SQLCoder 和 Phind）。

图源：https://twitter.com/amasad/status/1747666962749284468?t=429nIsADhoyZAwjGAClZ0w&s=03

大型公共模型本身对企业几乎没有价值

Dell 的 AI 战略高级副总裁 Matt Baker 对于封闭模型的局限性直言不讳。Dell 已与 Meta 合作，帮助将开源的 Llama 2 带给企业用户。Baker 表示：「大型公共模型本身对私营公司几乎没有什么价值。」他指出，这些模型目标是一个非常通用的模型，这会使它们变得臃肿，但它们不允许企业用户轻松访问自己的数据。Baker 估计，企业所做的人工智能工作中，约有 95% 是通过检索增强生成（RAG）等技术为模型注入数据所需的工作流程。即便如此，RAG 也并不总是可靠的。

Baker 讲道：「许多客户在问自己：等等，我为什么要为一个对我的业务知之甚少的超大型模型付费？我难道不能使用其中一个开源模型吗？顺便说一句，也许可以使用一个更小的开源模型来实现（信息检索）工作流。」

他还谈道，许多企业公司正在构建和试验基于开源的客户支持和代码生成应用程序，以与它们自己的定制代码互动，有时这些代码对于由 OpenAI 或 Anthropic 等公司构建的通用封闭 LLM 来说是难以理解的。这些公司优先支持 Python 和其他流行的云计算语言，而牺牲了对传统企业代码的支持。

开源 LLM 部署起跑缓慢的其他原因

Hugging Face 可以说是开源 LLM 最大的「聚集地」。成千上万的开发者已经下载了 LLM 和其他开源工具，比如 LangChain 和 LlamaIndex 这样的库和框架，来创造他们自己的应用程序。不过，Hugging Face 负责为使用开源 LLM 的公司提供建议的 Andrew Jardine 说，企业需要首先考虑数据隐私、客户体验和伦理等方面的影响，才能推进对 LLM 应用程序的使用。企业倾向于首先在内部用例上测试 LLM，通过概念验证后，才会考虑外部用例的部署。

也有人支持企业应该远离开源，因为从 OpenAI 调用 API 等服务更简单，不需要处理开源许可和治理的挑战。此外，GPT 模型虽然在多语言处理上表现良好，但开源 LLM 的效果参差不齐。

Hugging Face 的 Jardine 在讨论到开源模型和封闭模型而这时说到，这样的对立二分法是个错误的观念，因为现在大部分企业都会将二者一起使用。他提到了最近与他交谈的一家大型制药公司，该公司对内部聊天机器人使用封闭模型，但使用 Llama 进行相同的用例，比如标记含有个人可识别信息的消息。它之所以这样做，是因为开源给公司提供了更多控制数据的权力。Jardine 说，该公司担心，如果封闭模型与敏感数据互动，那些数据可能会被发送回封闭模型提供商。

开源将迎头赶上

技术的发展十分迅速，商业的需求改变也变幻莫测，这使企业想要根据需求在不同的开源和封闭模型之间切换。他们已经意识到了，只依赖一种模型会带来风险。Jardine 说，如果模型提供商突然更新模型，或者没有及时更新模型跟上时代的步伐，公司的客户都可能会受到负面影响。他说，当公司担心控制数据访问权限，同时又希望对模型进行微调以达到专门目的时，通常会选择开源途径。「你可以使用自己的数据对模型进行微调，使其更适合你。」

VentureBeat 发现，有几家公司，如 Intuit 和 Perplexity，它们就希望在单一应用中使用多个模型，以便挑选对特定子任务有利的大模型。这些公司已经建立了生成式 AI 「协调层」，通过调用完成任务的最佳模型，自主完成这项工作，开源模型或是封闭模型都可以。

部署开源模型的其他挑战

真正部署企业的源代码示例也很棘手，因为 LLM 的应用程序处于一种找不到甲方的状态。虽然构建应用程序的开发人员和初创企业不少，但对于 LLM 的开发者来说，他们想要找到的是有明确应用场景的项目、至少拥有 100 名员工的成熟公司。

他们寻找的对象是 LLM 技术的「最终用户」，而不是供应商。

另一个挑战是如何定义开源。Meta 于 2023 年 7 月发布了 Llama 2，该版本不仅可用于研究，也允许用于商业，但仍有一些限制。Llama 是较受欢迎的开源 LLM 之一，但 Llama 只公开了其模型权重，没有发布如数据源、训练代码或微调方法等具体细节。因此，有一些纯粹的开源主义者认为，Llama 不应该被认为是真正的开源。

Writer 开发了自己的 LLM 家族，称为 Palmyra，用于支持人们快速、创造性地生成内容的应用程序。它的企业客户包括 Accenture、Vanguard、Hubspot 和 Pinterest。虽然 Writer 已经开源了其中的两个模型，但其主要的 Large Palmyra 模型仍然是封闭的，并且是这些企业客户默认使用的 —— 所以这些并不是开源使用的例子。

开源大模型落地案例展示

最近几个月，从初创公司涌现出大量针对企业的新开源 LLM，包括 Deci 和 Together 的 Redpajama 推出的产品。即使是微软、亚马逊的 AWS 和谷歌也加入了供应游戏，像麦肯锡这样的咨询公司也利用部分开源 LLM 为客户构建应用程序。这也说明了追踪企业使用的全面就是不可能的，许多企业会强迫供应商签署保密协议。

VentureBeat 尽可能收集了他们所能找到的示例，并进行了整理。具体内容如下：

\1. VMWare

VMWare 部署了 HuggingFace 的 StarCoder 模型，该模型可帮助开发人员生成代码，从而提高开发效率。VMWare 选择自行托管该模型，而不是使用像微软拥有的 Github 的 Copilot 这样的外部系统。这可能是因为 VMWare 对其代码库非常敏感，不希望让微软访问它。

\2. Brave

这家聚焦安全的网络浏览器初创公司在隐私方面寻求差异化，他们部署了一个名为 Leo 的对话助手。Leo 之前使用的是 Llama 2，但 Brave 近期宣布 Leo 现在默认使用 Mistral AI 的开源模型 Mixtral 8x7B。

在这里插入图片描述

\3. Gab Wireless

这家儿童友好型手机公司强调安全和保障，它使用 Hugging Face 公司提供的一套开源模型，为筛选儿童收发的信息添加了一个安全层。这样可以确保在与不认识的人进行互动时，不会出现不恰当的内容。

\4. 富国银行（Wells Fargo）

富国银行首席信息官 Chintan Mehta 在 VentureBeat 的活动采访中提到，富国银行已经部署了开源 LLM 驱动，包括 Meta 的 Llama 2 模型，用于一些内部用途。

\5. IBM

IBM 使用了自己的 Granite，但也利用了来自 Hugging Face 和 Meta 的开源 LLM。然而，将 IBM 排除在已部署应用程序的用户名单之外是不公平的。其 285,000 名员工依赖公司的 AskHR 应用程序，该应用程序回答员工关于各种 HR 事项的问题，它是建立在利用开源 LLM 的 IBM 的 Watson Orchestration 应用程序上的。IBM 宣布了新的内部咨询产品 Consulting Advantage，该产品利用了由 Llama 2 驱动的开源 LLM。其中包括由 IBM 的 wasonx 平台提供支持的「助手库」，协助 IBM 的 16 万名顾问为客户设计复杂的服务。

IBM 生成式 AI 全球管理合伙人 Matt Candy 在接受 VentureBeat 采访时说，IBM 的数千名营销员工也使用 IBM 开源 LLM 驱动的营销应用程序生成内容。他说，虽然该应用去年还处于概念验证阶段，但已经开始在市场营销的特定部门部署。他说，该应用程序了解 IBM 的角色指南、品牌语气和活动指南，为子品牌和 IBM 运营的不同国家创建衍生内容。

\6. 格莱美奖

IBM 还宣布了一项协议，为格莱美奖的所有者录音学院提供一项名为 AI stories 的服务。该服务利用在 IBM Wastonx.ai 工作室上运行的 Llama 2，帮助定制见解和内容。这项服务将围绕艺术家及其作品的相关数据集的数据矢量化，LLM 可以通过 RAG 数据库检索这些数据，粉丝们也可以与这些内容进行互动。

7-9 美国大师赛、温布尔登网球赛和美国网球公开赛：

IBM 的 Candy 说，IBM 帮助所有这些组织使用开源 LLM 生成相关体育赛事的语音解说，并查找视频集锦。IBM 的技术可以帮助这些体育赛事公司调出一些关键的东西，如平板面部手势和人群嘈杂声，从而在整个比赛过程中创造一个更加令人兴奋的过程。

\10. Perplexity

这家炙手可热的初创公司正在通过使用 LLM 来重塑搜索体验。该公司目前只有 50 名员工，但筹集到 7400 万美元。虽然它不符合我们对企业的定义，但它的有趣之处值得一提。当用户向 Perplexity 提出一个问题时，它的引擎会使用大约六个步骤来做出回答，在此过程中还会使用多个 LLM。Perplexity 的员工 Dmitry Shevelenko 说，倒数第二步默认使用自己定制的开源 LLM。这一步是总结 Perplexity 认为符合用户问题的文章或资料来源的材料。Perplexity 在 Mistral 和 Llama 模型的基础上建立模型，并使用 AWS Bedrock 进行微调。

Shevelenko 说，使用 Llama 至关重要，因为它有助于 Perplexity 掌握自己的命运。他说，在 OpenAI 模型上投资，对模型进行微调是不值得的，因为你并不拥有结果。值得注意的是，Perplexity 还同意为 Rabbit R1 提供动力，因此 Rabbit 也将通过 Perplexity 的 API 有效使用开源 LLM。

\11. CyberAgent

这家日本数字广告公司使用戴尔软件提供的开源 LLM，为 OpenCALM（Open CyberAgent Language Models）提供动力，OpenCALM 是一个通用的日语语言模型，可以根据用户需求进行微调。

\12. Intuit

Intuit 是 TurboTax、Quickbooks 和 Mailchimp 等软件的提供商，很早就开始构建自己的 LLM 模型，并在驱动其 Intuit Assist 功能的 LLM 混合中利用开源模型，该功能帮助用户处理诸如客户支持、分析和任务完成工作。在采访中，Intuit 的执行官 Ashok Srivastava 说，其内部 LLM 是基于开源构建并在 Intuit 自己的数据上进行训练的。

\13. 沃尔玛

零售巨头沃尔玛构建了数十个对话 AI 应用程序，包括用于客户服务的聊天机器人。沃尔玛全球技术公司的新兴技术副总裁 Desirée Gosby 表示，公司使用 GPT-4 和其他 LLM，以免泰国局限。Gosby 说，沃尔玛的努力始于使用 Google 在 2018 年发布的 BERT 开源模型。

\14. Shopify

Shopify Sidekick 是一个 AI 驱动的工具，利用 Llama 2 帮助小企业主自动完成管理其商务网站的各种任务，如生成产品描述、回应客户查询和创建营销内容。

\15. LyRise

这家人才匹配初创公司 LyRise 使用一个建立在 Llama 上的聊天机器人，像人类招聘人员一样互动，帮助企业从非洲各行业的高质量简历库中找到并雇佣顶尖的 AI 和数据人才。

\16. Niantic

Pokemon Go 的创造者推出了一个名为 Peridot 的新功能，它使用 Llama 2 生成宠物角色在游戏中的环境特定反应和动画。