做AI产品经理最难的点：召回测试与提示词配置

最新推荐文章于 2025-06-27 09:55:38 发布

程序员一粟

最新推荐文章于 2025-06-27 09:55:38 发布

阅读量1k

点赞数 33

CC 4.0 BY-SA版权

文章标签：人工智能产品经理深度学习机器学习 ai

本文链接：https://blog.youkuaiyun.com/jennycisp/article/details/148808826

现在要问做AI产品最难的点是什么，那就是如何在产品设计中引导用户避免生产AI幻觉，并且提升识别准确率以及答案准确率，因为现在任何模型都是有不准的情况。

幻觉导致在生产力场景上，无法覆盖，产品经理难以做变现收益，这也是为什么现在几乎AI模型厂商都是在亏钱的本质原因，因为付费的用户还是非常少一部分，并且订阅成本还cover不了成本。

反观是涉及到不需要那么细致的情况下，这部分是AI产品可以做收益的，比如你看在娱乐领域的视频、音乐、以及游戏上，AI能力成了很多供应商的必备，很多人就会花钱去采购。

很难做的就是公众号排版

因为公众号排版涉及到多个样式以及文字与段落，长文章加上排版样式，就会出现超长tokens，幻觉较多。目前推出的AI排版，会反而增加了人工成本，我们希望最好的方式显然就是公众号一键排版完成。

所以，产品经理首先找到不同的排版风格文章，然后在进行AI排版生成，从而测试，才能得到最佳效果。

如下图不同的排版效果，不同的排版风格所涉及到的素材以及AI模型能力还有区别，有的还需要绘制图像。

研发过程并不花时间，而大量的时间是调试与测试，这就是花费时间。

不同创作者的文章排版风格不一样，比如像我的文章排版的风格就简单，但是一些公司媒体的公众号文章就复杂的多，有各种组件与格式。

AI测试的参数调试

比如我推荐用Dify来完成的AI配置，仍然需要产品经理来参与多个配置，比如下面的Top K与 score积分制，这涉及到知识库的范围与技能大小。

我们在知识库的配置以上参数涉及到段落分值

将段落参数配置如上，通过修分段的字符长度，来完成知识库的检索准确率

如上知识库的长度与重叠配置，从在分段数量上做控制，得到检索正确率较高的组合。

但这个调试需要产品经理不断地测试

每一次字符长度设置后，就需要查看知识库的分段数量，从而再进行召回测试，通过不断的测试，最终得到一个比较好的答案。

知识库做召回测试是发现知识库的召回率以及只是完整性，比如这里我们拿的规培考试题目来做召回测试，就发现题目并没有完整出现。

这也是产品经理测试AI模型最费时间的工作环节。

提示词测试

除了召回测试外，AI产品经理还要关注提示词测试，比如下面我们做的耳鼻喉科答题的AI提示词规则设置，就说明了答题的要求以及限制，这一部分也需要产品经理调试。

甚至是说清楚解释与限制，才能够保证AI产品的落地点幻觉减少，从而真的产生生产力。

这都不是说部署了AI大模型就好了，而要反复的在业务场景做调试才能完成，如果在Dify这类模型管理工具里没有办法实现到自己想要的参数，那就只有进行个性化开发，或者调整自己的产品设计方案。

能完成，如果在Dify这类模型管理工具里没有办法实现到自己想要的参数，那就只有进行个性化开发，或者调整自己的产品设计方案。

这是传统的产品经理不会涉及的，以上就是今天的分享。

在大模型时代，我们如何有效的去学习大模型？

现如今大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。
在这里插入图片描述

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也_想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把都打包整理好，希望能够真正帮助到大家_。

零基础如何学习AI大模型

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型典型应用场景

①AI+教育：智能教学助手和自动评分系统使个性化教育成为可能。通过AI分析学生的学习数据，提供量身定制的学习方案，提高学习效果。
②AI+医疗：智能诊断系统和个性化医疗方案让医疗服务更加精准高效。AI可以分析医学影像，辅助医生进行早期诊断，同时根据患者数据制定个性化治疗方案。
③AI+金融：智能投顾和风险管理系统帮助投资者做出更明智的决策，并实时监控金融市场，识别潜在风险。
④AI+制造：智能制造和自动化工厂提高了生产效率和质量。通过AI技术，工厂可以实现设备预测性维护，减少停机时间。
…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。