OpenAI Realtime API Beta 使用指南

OpenAI Realtime API Beta 使用指南

openai-realtime-api-beta Node.js + JavaScript reference client for the Realtime API (beta) 项目地址: https://gitcode.com/gh_mirrors/op/openai-realtime-api-beta

1. 项目介绍

OpenAI Realtime API Beta 是一个实时通信的API，允许开发者通过WebSocket连接与OpenAI的模型进行交互。这个API适用于构建需要实时反馈的应用，如聊天机器人、在线翻译服务或任何需要即时数据交换的场景。本项目包含了一个Node.js和浏览器的参考客户端，用于简化API的使用。

2. 项目快速启动

服务器端快速启动

首先，确保你已经安装了Node.js环境。然后，你可以通过npm直接从GitHub仓库安装这个库。

npm i openai/openai-realtime-api-beta --save

在安装完依赖之后，你可以创建一个新的JavaScript文件，并使用以下代码来初始化客户端：

const { RealtimeClient } = require('openai/openai-realtime-api-beta');

const client = new RealtimeClient({
  apiKey: process.env.OPENAI_API_KEY
});

// 设置会话参数
client.updateSession({
  instructions: 'You are a great, upbeat friend.',
  voice: 'alloy',
  turn_detection: { type: 'none' },
  input_audio_transcription: { model: 'whisper-1' }
});

// 设置事件监听
client.on('conversation.updated', (event) => {
  // 处理事件
});

// 连接到Realtime API
await client.connect();

// 发送用户消息
client.sendUserMessageContent([
  { type: 'input_text', text: 'How are you?' }
]);

浏览器端快速启动

在浏览器中使用此客户端时，需要小心处理API密钥，因为直接在前端代码中暴露密钥是不安全的。

import { RealtimeClient } from '@openai/realtime-api-beta';

const client = new RealtimeClient({
  apiKey: process.env.OPENAI_API_KEY,
  dangerouslyAllowAPIKeyInBrowser: true
});

// 或者连接到你的中继服务器
// const client = new RealtimeClient({ url: RELAY_SERVER_URL });

// 其他代码与服务器端相同

3. 应用案例和最佳实践

• 聊天机器人: 使用Realtime API构建一个能够实时响应用户输入的聊天机器人。
• 在线翻译: 实现一个实时翻译服务，将用户的输入实时转换成另一种语言。
• 音频处理: 利用API的音频输入功能，实时处理和分析用户上传的音频数据。

最佳实践：

• 总是在服务器端处理API密钥，不要在前端代码中暴露。
• 在生产环境中使用HTTPS连接，确保通信安全。
• 使用适当的事件处理逻辑，确保应用程序能够优雅地处理网络问题和API错误。

4. 典型生态项目

由于OpenAI Realtime API Beta是一个相对较新的项目，目前可能没有大量的开源项目直接使用它。然而，开发者可以构建自己的项目，比如：

• Realtime Console: 一个用于实时检查API调用和结果的Web界面。
• Relay Server: 一个中继服务器，用于在客户端和OpenAI API之间安全地传输数据。

openai-realtime-api-beta Node.js + JavaScript reference client for the Realtime API (beta) 项目地址: https://gitcode.com/gh_mirrors/op/openai-realtime-api-beta