PromptPEX项目中模型基线配置问题的分析与解决

PromptPEX项目中模型基线配置问题的分析与解决

promptpex Prompt Exploration 项目地址: https://gitcode.com/gh_mirrors/pr/promptpex

在PromptPEX项目开发过程中，我们遇到了一个关于模型基线配置的技术问题。这个问题出现在执行艺术提示词(art-prompt)的基准测试生成时，系统报错"model configuration not found"。

问题现象

开发人员在使用最新版本的genaiscript和promptpex工具时，尝试运行以下命令：

genaiscript run paper "samples/big-prompt-lib/art-prompt.prompty" \
--vars "evals=true" \
--vars "models=azure:gpt-4o-mini_2024-07-18;ollama:gemma2:9b;ollama:qwen2.5:3b;ollama:llama3.2:1b" \
--vars "out=evals/paper-art-prompt"

系统在执行"generate baseline tests"步骤时抛出错误，提示找不到模型配置。然而，后续的意图生成、输入规范生成、规则生成等步骤却能正常执行。

问题根源

经过分析，我们发现这是由于PromptPEX项目架构调整导致的。新版本中，用于基准测试比较的基线模型需要单独配置，不再与PromptPEX使用的模型共用同一配置。

解决方案

解决此问题的方法是在项目根目录的.env文件中添加以下配置：

GENAISCRIPT_MODEL_BASELINE="azure:gpt-4o_2024-08-06"

这一变更反映了项目架构的一个重要改进：现在将用于比较的基线模型与PromptPEX使用的模型明确分离。这种分离带来了几个优势：

1. 更清晰的职责划分：基线模型专门用于结果比较，而测试模型用于实际测试
2. 更高的灵活性：可以独立选择最适合的基线模型，不受测试模型限制
3. 更好的可维护性：配置变更不会相互影响

技术启示

这个问题揭示了在AI测试框架开发中几个重要的设计考量：

1. 配置分离原则：不同用途的模型配置应该分离，避免耦合
2. 明确的错误提示：当关键配置缺失时，系统应提供清晰的指引
3. 向后兼容性：架构变更时需要考虑现有用户的使用习惯

对于使用PromptPEX框架的开发人员，建议在进行基准测试前，始终检查以下配置：

• 测试模型列表(models)
• 基线模型(GENAISCRIPT_MODEL_BASELINE)
• 评估开关(evals)

这种明确的配置分离虽然增加了初始设置的复杂度，但为长期的项目维护和扩展提供了更好的基础。

promptpex Prompt Exploration 项目地址: https://gitcode.com/gh_mirrors/pr/promptpex