大模应用落地的最大挑战是什么

大语言模型的问世，开创了一种革命性的交互模式——借助自然语言提示（prompt）来驱动其执行各项任务。此模式兼具经济性与直观性，显著降低了采纳AI技术的难度，使得广大民众能够便捷地利用AI力量，轻松应对多样任务，推动了人机交互向自然化与智能化的深度迈进。

然而，正如历史上任何一次技术飞跃均伴随着挑战，大语言模型及其背后的提示工程在AI原生应用的开拓实践中，同样遭遇了多重考验。

1.主要挑战

1. 1 来自早期用户认知不足

大语言模型在初期被赋予了过度的光环，许多本不属其能力范畴的问题也被强行纳入其解决范畴。这种无端的乐观情绪与不切实际的期望，如同达克曲线所示，为AI原生应用的先驱开发者铺设了一条布满荆棘的道路。人们对新技术的认知往往伴随着从忽视到过度期望，再到失望乃至理解的曲折过程。

早期认知的挑战具体体现在：

一方面，部分群体（可称为“幻想派”）怀揣着以小博大的心态，期望以极低的成本投入换取超乎寻常的成果，比如幻想着用微薄的资金复制出淘宝或百度的辉煌。如今，在AI原生时代的新舞台上，这种幻想又以新的面貌出现——认为仅凭一个智能对话界面，便能化解所有难题。这种急功近利的心态，若不加以理性引导，将严重制约AI技术潜力的挖掘与应用价值的实现。

另一方面，“理想派”则深受媒体炒作与公司公关的影响，对AI的期望过于理想化。他们轻信于一旦有公司推出代码助手，程序员岗位便将消失；一听到降本增效的口号，便认为无代码平台将是信息系统的终极形态；将海量数据一股脑儿地丢给大语言模型，期待其能自动产出卓越成果。然而，他们忽视了宣传材料与真实应用场景之间的巨大差异，未能意识到从演示demo到实际应用之间存在着难以逾越的鸿沟。这种理想与现实之间的脱节，同样是早期用户认知挑战的重要表现。

1.2 技术落地的困境

虽然制作一个令人印象深刻的DEMO并不困难，但是要让大语言模型在实际产业中落地并发挥作用，却面临着诸多的技术挑战。

（1）提示风格大相径庭。

目前，大语言模型技术及其应用领域正在迅猛发展，提示已然成为编程中不可或缺的关键要素，然而，与编程代码相比，提示的编写尚缺乏统一的规范标准。在实际应用中，一个系统可能需要与多个大语言模型进行协同工作。这些模型之间存在显著的差异，对提示风格有着各自不同的要求和反应。因此，相同的提示在不同的大语言模型上可能会产生截然不同的效果和输出。这种模型间的差异性不仅增加了开发协作的复杂性，也对系统的持续迭代和维护构成了不小的挑战。

（2）生成效果难以控制。

如果大语言模型的性能表现不够理想，那么它在理解任务的深层语义时，往往会显得捉襟见肘。试设想，当你向大语言模型下达清晰明确的指令时，它可能像一个只知皮毛的“翻译官”，仅凭自己的有限理解来产出内容相关却偏离实际需求的内容。这种“指令遵循问题”实际上揭示了大语言模型在深入语言理解方面的短板。

尽管大语言模型在自然语言处理领域取得了令人瞩目的成果，其生成的文本流畅且充满创意，然而，这种出色的表现背后却隐藏着一定的不确定性。在某些情况下，模型的输出可能与用户的期望相去甚远，甚至会出现不切实际的幻觉、违背指令或产生内容安全上的隐患。这些问题不仅削弱了大语言模型的效能和可信度，还可能对用户乃至社会带来意料之外的负面影响。因此，在我们不断探索大语言模型的创新与表现力的同时，更需要直面并解决这些潜在风险，从而确保大语言模型在实际运用中既稳定又可靠。

（3）安全问题暗流涌动。

传统安全问题多源于软件代码或参数的缺陷，而提示安全问题则是由大语言模型的生成能力和可塑性所引发。攻击者可以通过精心设计的输入提示来操控模型的输出，这种攻击方式更加隐蔽和灵活，因此也更加难以防范。随着基于大语言模型的AI原生应用的快速发展，需要在数据泄露、注入攻击、越权攻击等多个方面加强安全防范。

（4）测试和评估迷雾重重。

大语言模型的生成机制给其效果测试评估带来了不小的困扰。以往用于判别式模型的评估体系和指标可能在这里并不适用。由于大语言模型的能力强大且能处理各种任务，这使得评估变得更加复杂。例如，判断一篇的总结是否比另一篇更好，这本身就是一个巨大的挑战。如何快速、低成本且准确地评估不同的提示下的模型效果，是摆在我们面前的一大难题。

除了上述内容，还必须应对一系列问题，如模型的内容生成速率、token长度的限制、多阶段提示的编排，以及大语言模型需要与现有系统的融合等。

2. 我们应该做什么

作为一线从业者，我们应深知大语言模型蕴含着推动生产力变革的巨大潜能，但要发挥这种潜能，关键在于使用者具有优秀的驾驭能力。在利用大语言模型进行 AI 原生应用开发的过程中“好答案”往往源自好问题”。然而，如果提出“好问题”的能力仅仅依赖于大量、重复的实践，而无法将其沉淀为可传承的行业知识和通用方法，那么这将成为 AI 原生应用落地的阻碍。

为了克服这些挑战，软件行业的每一位从业者都需要对自己的知识体系进行全面地审视和持续学习，因此我特别推荐《AI原生应用开发：提示工程原理与实践》（京东图书：https://item.jd.com/14373635.html）一书，这本书涵盖：提示工程概述、结构化提示设计、NLP 任务提示、内容创作提示、生成可控性提示、提示安全设计、形式语言风格提示、推理提示、智能体提示等，这是一本面向AI原生应用开发者的书，能够帮助我们快速的掌握AI原生的相关开发技巧，以帮助我们再这个瞬息万变的时代中稳固我们的地位，确保立于不败之地，全书目录如下：