在Vercel AI SDK中使用Fastify构建AI流式响应服务器

在Vercel AI SDK中使用Fastify构建AI流式响应服务器

ai Build AI-powered applications with React, Svelte, Vue, and Solid 项目地址: https://gitcode.com/gh_mirrors/ai/ai

本文介绍如何在Fastify服务器中使用Vercel AI SDK来实现AI生成内容的流式传输。我们将探讨三种不同的流式传输方法，帮助开发者根据需求选择最适合的方案。

环境准备

在开始之前，请确保满足以下条件：

1. 已安装Node.js环境
2. 已创建Fastify项目
3. 已安装Vercel AI SDK相关依赖
4. 已设置OpenAI API密钥到环境变量OPENAI_API_KEY

基础数据流传输

最基本的实现方式是使用toDataStream方法将AI生成的内容转换为数据流：

import { openai } from '@ai-sdk/openai';
import { streamText } from 'ai';
import Fastify from 'fastify';

const fastify = Fastify({ logger: true });

fastify.post('/', async function (request, reply) {
  const result = streamText({
    model: openai('gpt-4o'),
    prompt: '发明一个新节日并描述其传统习俗',
  });

  // 设置响应头标识为Vercel AI数据流
  reply.header('X-Vercel-AI-Data-Stream', 'v1');
  reply.header('Content-Type', 'text/plain; charset=utf-8');

  return reply.send(result.toDataStream());
});

fastify.listen({ port: 8080 });

这种方法简单直接，适合大多数基础场景。当客户端请求该端点时，服务器会立即开始流式传输AI生成的内容。

自定义数据流传输

对于需要更多控制权的场景，可以使用createDataStream方法创建自定义数据流：

import { openai } from '@ai-sdk/openai';
import { createDataStream, streamText } from 'ai';
import Fastify from 'fastify';

const fastify = Fastify({ logger: true });

fastify.post('/stream-data', async function (request, reply) {
  const dataStream = createDataStream({
    execute: async dataStreamWriter => {
      // 可以发送自定义初始化消息
      dataStreamWriter.writeData('AI服务已初始化');
      
      const result = streamText({
        model: openai('gpt-4o'),
        prompt: '发明一个新节日并描述其传统习俗',
      });

      // 将AI生成内容合并到数据流中
      result.mergeIntoDataStream(dataStreamWriter);
    },
    onError: error => {
      // 自定义错误处理逻辑
      return error instanceof Error ? error.message : String(error);
    },
  });

  reply.header('X-Vercel-AI-Data-Stream', 'v1');
  reply.header('Content-Type', 'text/plain; charset=utf-8');

  return reply.send(dataStream);
});

fastify.listen({ port: 8080 });

这种方法提供了更大的灵活性，允许开发者在流式传输过程中插入自定义消息或处理逻辑。

纯文本流传输

如果只需要传输纯文本内容，可以直接使用textStream属性：

import { openai } from '@ai-sdk/openai';
import { streamText } from 'ai';
import Fastify from 'fastify';

const fastify = Fastify({ logger: true });

fastify.post('/', async function (request, reply) {
  const result = streamText({
    model: openai('gpt-4o'),
    prompt: '发明一个新节日并描述其传统习俗',
  });

  // 设置纯文本响应头
  reply.header('Content-Type', 'text/plain; charset=utf-8');

  return reply.send(result.textStream);
});

fastify.listen({ port: 8080 });

这种方法最为简洁，适合只需要文本内容而不需要额外元数据的场景。

测试与验证

完成代码编写后，可以使用curl命令测试服务器：

curl -X POST http://localhost:8080

对于自定义数据流端点：

curl -X POST http://localhost:8080/stream-data

常见问题排查

1. 流式传输不工作：确保没有中间服务器干扰流式传输，某些中间服务器可能会缓冲响应内容
2. API密钥问题：确认OPENAI_API_KEY环境变量已正确设置
3. 响应头设置：确保正确设置了X-Vercel-AI-Data-Stream和Content-Type响应头
4. Fastify版本：使用较新版本的Fastify以获得最佳兼容性

性能优化建议

1. 考虑实现请求速率限制，防止滥用
2. 对于高并发场景，可以添加连接池管理
3. 实现适当的错误处理和重试机制
4. 考虑添加请求验证和身份认证

通过本文介绍的方法，开发者可以灵活地在Fastify服务器中集成Vercel AI SDK，实现高效的AI内容流式传输。根据具体需求选择合适的方法，可以构建出既高效又灵活的AI服务接口。

ai Build AI-powered applications with React, Svelte, Vue, and Solid 项目地址: https://gitcode.com/gh_mirrors/ai/ai