【简化LLM管理：使用MLflow Deployments与多语言模型轻松集成】

简化LLM管理：使用MLflow Deployments与多语言模型轻松集成

引言

近年来，随着大型语言模型（Large Language Models, LLMs）如OpenAI和Anthropic的广泛应用，企业面临着如何高效管理和使用这些模型的挑战。MLflow提供了一套强大的工具，特别是MLflow Deployments，能够简化与各种LLM提供商的集成，为开发者提供了统一的接口以处理特定的LLM相关请求。本文旨在探讨如何使用MLflow Deployments来管理和部署LLMs。

主要内容

安装和设置

要使用MLflow的部署功能，首先你需要安装MLflow以及相关依赖。

pip install 'mlflow[genai]'

接下来，设置OpenAI API密钥为环境变量：

export OPENAI_API_KEY=...

然后，创建一个配置文件config.yaml，定义你的端点和模型信息：

endpoints:
  - name: completions
    endpoint_type: llm/v1/completions
    model:
      provider: openai
      name: text-davinci-003
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: embeddings
    endpoint_type: llm/v1/embeddings
    model:
      provider: openai
      name: text-embedding-ada-002
      config:
        openai_api_key: $OPENAI_API_KEY

最后，启动MLflow部署服务器：

mlflow deployments start-server --config-path /path/to/config.yaml

使用示例

这里提供几个典型应用场景的代码示例，包括完成、嵌入和聊天功能。

完成示例

import mlflow
from langchain.chains import LLMChain, PromptTemplate
from langchain_community.llms import Mlflow

llm = Mlflow(
    target_uri="http://{AI_URL}",  # 使用API代理服务提高访问稳定性
    endpoint="completions",
)

llm_chain = LLMChain(
    llm=Mlflow,
    prompt=PromptTemplate(
        input_variables=["adjective"],
        template="Tell me a {adjective} joke",
    ),
)
result = llm_chain.run(adjective="funny")
print(result)

with mlflow.start_run():
    model_info = mlflow.langchain.log_model(llm_chain, "model")

model = mlflow.pyfunc.load_model(model_info.model_uri)
print(model.predict([{"adjective": "funny"}]))

嵌入示例

from langchain_community.embeddings import MlflowEmbeddings

embeddings = MlflowEmbeddings(
    target_uri="http://{AI_URL}",  # 使用API代理服务提高访问稳定性
    endpoint="embeddings",
)

print(embeddings.embed_query("hello"))
print(embeddings.embed_documents(["hello"]))

聊天示例

from langchain_community.chat_models import ChatMlflow
from langchain_core.messages import HumanMessage, SystemMessage

chat = ChatMlflow(
    target_uri="http://{AI_URL}",  # 使用API代理服务提高访问稳定性
    endpoint="chat",
)

messages = [
    SystemMessage(
        content="You are a helpful assistant that translates English to French."
    ),
    HumanMessage(
        content="Translate this sentence from English to French: I love programming."
    ),
]
print(chat(messages))

常见问题和解决方案

访问问题

由于某些地区的网络限制，连接到API端点时可能会出现访问困难。建议使用API代理服务以提高访问稳定性。

配置问题

确保你的配置文件路径正确且API密钥已正确设置为环境变量，以避免连接失败。

总结与进一步学习资源

MLflow Deployments为企业提供了一个整合多种LLM的便利工具，通过统一的接口，减少了对不同LLM服务的复杂管理。未来，探索更多MLflow文档及LangChain相关资源可以帮助你更好地利用这些强大工具。

参考资料

• MLflow 官方文档
• LangChain 官方文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—