使用Portkey-AI网关结合OpenAI SDK实现动态提示模板

使用Portkey-AI网关结合OpenAI SDK实现动态提示模板

gateway 项目地址: https://gitcode.com/gh_mirrors/ga/gateway

前言

在现代AI应用开发中，如何高效管理和复用提示模板(prompt templates)是一个常见挑战。Portkey-AI网关项目提供了一套完整的解决方案，让开发者能够轻松创建、管理和部署提示模板，并与OpenAI SDK无缝集成。本文将详细介绍如何利用Portkey-AI网关的提示模板功能，结合OpenAI SDK实现动态内容生成。

什么是Portkey-AI网关提示模板

Portkey-AI网关的提示模板功能允许开发者：

1. 在可视化界面中设计和测试提示模板
2. 保存和版本控制模板配置
3. 通过API动态渲染模板内容
4. 与主流AI服务提供商(如OpenAI)的SDK集成

这种机制特别适合团队协作场景，确保所有成员使用统一的提示模板，同时又能保持灵活性。

实战：创建儿童故事生成器

我们将通过一个实际案例演示整个流程：创建一个可以根据用户指定主题生成儿童故事的AI应用。

第一步：创建提示模板

1. 登录Portkey-AI网关管理界面
2. 进入"Prompts"部分并点击"Create"按钮
3. 在提示模板编辑器中配置以下参数：

系统角色设定：
"你是一位擅长为儿童创作故事的作家，能用引人入胜的方式讲述各种主题的故事。故事长度控制在3段以内。"

用户提示：
"给我讲一个关于{{topic}}的故事"

关键参数配置：
- 模型：GPT-4
- 最大token数：512
- 温度参数：0.9
- 频率惩罚：-0.2

注意{{topic}}是一个动态变量，在实际调用时会被替换为用户指定的主题。

第二步：获取模板配置

创建完成后，我们需要通过API获取这个模板的详细配置。以下是使用axios实现的示例代码：

import axios from 'axios';

const PROMPT_ID = '你的模板ID';
const PORTKEYAI_API_KEY = '你的API密钥';

const renderPrompt = async (topic) => {
  const response = await axios.post(
    `https://api.portkey.ai/v1/prompts/${PROMPT_ID}/render`,
    { variables: { topic } },
    { 
      headers: {
        'Content-Type': 'application/json',
        'x-portkey-api-key': PORTKEYAI_API_KEY
      }
    }
  );
  return response.data.data;
};

// 使用示例
const promptConfig = await renderPrompt('猫和老鼠');
console.log(promptConfig);

API返回的配置对象包含完整的对话设置，可直接用于OpenAI SDK调用。

第三步：集成OpenAI SDK

获取模板配置后，我们可以将其传递给OpenAI SDK：

import OpenAI from 'openai';
import { createHeaders, PORTKEY_GATEWAY_URL } from 'portkey-ai';

// 初始化OpenAI客户端
const client = new OpenAI({
  apiKey: 'USES_VIRTUAL_KEY', // 使用虚拟密钥
  baseURL: PORTKEY_GATEWAY_URL, // 指向Portkey网关
  defaultHeaders: createHeaders({
    provider: 'openai',
    apiKey: PORTKEYAI_API_KEY,
    virtualKey: '你的OpenAI虚拟密钥'
  })
});

// 生成故事函数
async function generateStory(topic) {
  const promptConfig = await renderPrompt(topic);
  const completion = await client.chat.completions.create(promptConfig);
  return completion.choices[0].message.content;
}

// 使用示例
const story = await generateStory('猫和老鼠');
console.log(story);

进阶技巧：使用Portkey SDK简化流程

Portkey还提供了专用SDK，可以进一步简化流程：

const promptCompletion = await portkey.prompts.completions.create({
  promptID: '你的模板ID',
  variables: {
    topic: '猫和老鼠'
  }
});

最佳实践建议

1. 模板设计：在模板中使用明确的变量标记(如{{variable}})，提高可维护性
2. 参数调优：通过Portkey界面测试不同温度(temperature)和惩罚参数的效果
3. 版本控制：利用Portkey的版本管理功能，方便回滚和对比不同版本的模板
4. 错误处理：在实际应用中添加适当的错误处理和重试机制

总结

通过Portkey-AI网关的提示模板功能，开发者可以实现：

• 集中管理所有提示模板
• 团队协作时保持提示一致性
• 快速迭代和优化提示设计
• 无缝对接多种AI服务提供商

这种方法特别适合需要频繁调整提示内容或需要团队协作的AI应用开发场景。希望本教程能帮助你更好地利用Portkey-AI网关提升开发效率。

gateway 项目地址: https://gitcode.com/gh_mirrors/ga/gateway