oaib：开源Python库，助力OpenAI API的批量请求-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00909/article/details/148778314

oaib：开源Python库，助力OpenAI API的批量请求

oaib Use the OpenAI Batch tool to make async batch requests to the OpenAI API. 项目地址: https://gitcode.com/gh_mirrors/oa/oaib

在人工智能与机器学习领域，OpenAI API无疑是一个强大的工具。它为开发者提供了丰富的接口，可以完成从文本生成到代码翻译等多种任务。然而，在实际应用中，我们经常会遇到API的速率限制问题。为了解决这个问题，开源社区中出现了一个名为oaib的Python库。它可以帮助开发者以异步的方式批量请求OpenAI API，并在给定的TPM（每分钟请求数）或RPM（每分钟请求量）限制内，以最快的速度完成请求。

项目介绍

oaib是一个Python库，旨在帮助开发者更高效地使用OpenAI API。它通过异步批量请求的方式，使得开发者可以在不违反API速率限制的前提下，以最快的速度完成大量的API请求。oaib提供了两种主要的使用方式：Batch和Auto。

项目技术分析

oaib使用Python编写，利用了Python的异步编程特性，可以同时处理多个API请求，从而提高效率。它还利用了OpenAI API的响应头信息，自动获取并使用当前的TPM/RPM限制，确保在不超过API速率限制的情况下，以最快的速度完成请求。

项目及技术应用场景

oaib可以应用于任何需要使用OpenAI API的场景，特别是那些需要进行大量API请求的场景。例如，在进行文本生成、翻译、代码分析等任务时，开发者可以使用oaib来提高处理速度，从而提高工作效率。

项目特点

oaib的主要特点包括：

异步批量请求：可以同时处理多个API请求，提高效率。
自动速率限制：自动获取并使用当前的TPM/RPM限制，确保在不超过API速率限制的前提下，以最快的速度完成请求。
易于使用：提供了简单的接口，开发者可以轻松地将其集成到自己的项目中。

总的来说，oaib是一个非常有用的工具，可以帮助开发者更高效地使用OpenAI API。如果你正在进行人工智能或机器学习项目，那么oaib绝对值得你一试。

使用示例

设置OpenAI API Key

在使用oaib之前，首先需要设置OpenAI API Key。这可以通过将API Key存储在环境变量中来实现。

import os
os.environ['OPENAI_API_KEY'] = input()

使用`Batch`类

Batch类可以用于创建和管理批量请求。例如，以下代码创建了一个Batch对象，然后向OpenAI API发送了20个聊天补全请求。

from oaib import Batch

# 使用较低的TPM/RPM限制进行示例。
batch = Batch(rpm=100, tpm=1000, workers=5)

# 创建一个包含20个聊天补全请求的批次。
for i in range(20):
    await batch.add(
        "chat.completions.create", 
        model="gpt-3.5-turbo", 
        messages=[{"role": "user", "content": "say hello"}]
    )

await batch.run()

使用`Auto`类

Auto类可以自动获取并使用当前的TPM/RPM限制。例如，以下代码创建了一个Auto对象，然后向OpenAI API发送了1000个聊天补全请求。

from oaib import Auto

# 自动设置速率限制。
batch = Auto(workers=8)

# 尽可能快地获取1000个聊天补全，自动从OpenAI的响应头中设置速率限制。
for i in range(1000):
    await batch.add(
        "chat.completions.create", 
        model="gpt-3.5-turbo", 
        messages=[{"role": "user", "content": "say hello"}]
    )

await batch.run()