使用GPTCache优化OpenAI聊天API响应速度的技术实践-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01199/article/details/148443368

使用GPTCache优化OpenAI聊天API响应速度的技术实践

GPTCache Semantic cache for LLMs. Fully integrated with LangChain and llama_index. 项目地址: https://gitcode.com/gh_mirrors/gp/GPTCache

引言

在现代AI应用开发中，与大型语言模型(如OpenAI的ChatGPT)交互已成为常见需求。然而，频繁调用API不仅会产生高昂成本，还会因网络延迟影响用户体验。GPTCache项目为解决这一问题提供了智能缓存方案，可显著提升响应速度并降低API调用次数。

准备工作

在开始前，请确保已完成以下配置：

安装必要的Python包：openai和gptcache
设置OpenAI API密钥环境变量
- Linux/Mac: export OPENAI_API_KEY=你的API密钥
- Windows: set OPENAI_API_KEY=你的API密钥

基础OpenAI API调用

我们先看标准的OpenAI聊天API调用方式：

import time
import openai

def response_text(openai_resp):
    return openai_resp['choices'][0]['message']['content']

question = '请解释什么是版本控制系统'
start_time = time.time()
response = openai.ChatCompletion.create(
  model='gpt-3.5-turbo',
  messages=[
    {'role': 'user', 'content': question}
  ],
)
print(f'问题: {question}')
print(f"耗时: {time.time() - start_time:.2f}s")
print(f'回答: {response_text(response)}')

这种方式的缺点是每次查询都需要完整调用API，无法利用历史查询结果。

引入GPTCache实现精确匹配缓存

GPTCache的核心价值在于为AI响应建立缓存层。首先我们实现最简单的精确匹配缓存：

from gptcache import cache
from gptcache.adapter import openai

# 初始化缓存
cache.init()
cache.set_openai_key()

question = "请解释什么是版本控制系统"
for _ in range(2):
    start_time = time.time()
    response = openai.ChatCompletion.create(
      model='gpt-3.5-turbo',
      messages=[
        {'role': 'user', 'content': question}
      ],
    )
    print(f'问题: {question}')
    print(f"耗时: {time.time() - start_time:.2f}s")
    print(f'回答: {response_text(response)}')

首次查询会正常调用API并缓存结果，第二次相同查询将直接从缓存返回，耗时接近0秒。

高级功能：语义相似匹配缓存

更强大的功能是语义相似匹配，对相似但不完全相同的问题也能返回缓存结果：

from gptcache.embedding import Onnx
from gptcache.manager import CacheBase, VectorBase, get_data_manager
from gptcache.similarity_evaluation.distance import SearchDistanceEvaluation

# 配置高级缓存
onnx = Onnx()
data_manager = get_data_manager(CacheBase("sqlite"), 
                             VectorBase("faiss", dimension=onnx.dimension))
cache.init(
    embedding_func=onnx.to_embeddings,
    data_manager=data_manager,
    similarity_evaluation=SearchDistanceEvaluation(),
)
cache.set_openai_key()

questions = [
    "什么是版本控制系统",
    "请解释版本控制的概念",
    "版本控制系统有什么作用",
    "为什么我们需要版本控制工具"
]

for question in questions:
    start_time = time.time()
    response = openai.ChatCompletion.create(
        model='gpt-3.5-turbo',
        messages=[{'role': 'user', 'content': question}],
    )
    print(f'问题: {question}')
    print(f"耗时: {time.time() - start_time:.2f}s")
    print(f'回答: {response_text(response)}')

首次查询会建立缓存，后续语义相似的查询会直接返回最接近的缓存结果，大幅提升响应速度。