探索Databricks Lakehouse平台中的强大LLM模型

最新推荐文章于 2025-03-19 18:31:38 发布

tt_jishu

最新推荐文章于 2025-03-19 18:31:38 发布

阅读量841

点赞数 12

CC 4.0 BY-SA版权

文章标签： python 开发语言

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/143664706

探索Databricks Lakehouse平台中的强大LLM模型

在数据科学和人工智能领域，Databricks Lakehouse平台以其统一的数据、分析和AI功能引领潮流。在这篇文章中，我们将深入探讨如何在Databricks环境中快速入门并使用其LLM（大语言模型）。我们将介绍如何在LangChain应用程序中集成Databricks的LLM模型，并且探讨其潜在的使用挑战和解决方案。

引言

Databricks Lakehouse平台提供了一个综合的数据和AI环境，帮助企业更高效地利用数据资源。特别是其LLM模型，可以通过Databricks Model Serving或集群驱动代理应用程序两种方式进行托管。本教程将指导您如何在LangChain应用程序中包装和使用您的LLM端点。

主要内容

DatabricksLLM类概览

DatabricksLLM类是一个遗留实现，仅支持同步调用，不支持流式或异步API。如果您需要这些功能，建议使用新的ChatDatabricks类。

安装和设置

首先，您需要创建一个Databricks账户，并根据情况设置凭据和安装所需的包。

%pip install -qU langchain-community mlflow>=2.9.0

如果您在Databricks之外运行LangChain应用程序，还需要手动设置Databricks工作区主机名和个人访问令牌：

import getpass
import os

os.environ["DATABRICKS_HOST"] = "https://your-workspace.cloud.databricks.com"
os.environ["DATABRICKS_TOKEN"] = getpass.getpass("Enter your Databricks access token: ")

包装模型服务端点

为了在LangChain中使用Databricks模型，您需要有权限查询端点，并且MLflow模型的签名需要匹配预期的输入输出格式。

from langchain_community.llms import Databricks

llm = Databricks(endpoint_name="YOUR_ENDPOINT_NAME")
response = llm.invoke("How are you?")
print(response)

转换输入和输出

有时你可能需要调整端点的模型签名或配置，这时候可以使用transform_input_fn和transform_output_fn来进行预处理或后处理。

def transform_input(**request):
    full_prompt = f"""{request["prompt"]}
    Be Concise.
    """
    request["prompt"] = full_prompt
    return request

def transform_output(response):
    return response.upper()

llm = Databricks(
    endpoint_name="YOUR_ENDPOINT_NAME",
    transform_input_fn=transform_input,
    transform_output_fn=transform_output,
)

response = llm.invoke("How are you?")
print(response)