使用Amazon SageMaker部署的LLM进行问答系统开发

最新推荐文章于 2025-11-25 15:56:53 发布

原创最新推荐文章于 2025-11-25 15:56:53 发布 · 320 阅读

CC 4.0 BY-SA版权

文章标签：

在现代人工智能应用中，托管和管理机器学习模型的需求越来越高涨。Amazon SageMaker便是一个可以帮助开发者快速构建、训练和部署机器学习模型的强大平台。本文将深入探讨如何通过SageMaker Endpoint托管的语言模型（LLM）实现问答系统。

技术背景介绍

Amazon SageMaker提供了一个完整的基础设施和工具集，帮助开发者将机器学习模型应用于各种场景。通过使用SageMaker Endpoint，我们可以将训练好的模型托管在AWS云平台上，并通过API进行访问。这种方法不仅节省了本地部署的资源开销，且提高了模型的可用性和稳定性。

核心原理解析

在这个示例中，我们将探讨如何使用SageMaker托管的LLM来实现一个简单的问答系统。系统的核心是一个预训练的语言模型，它能够根据提供的上下文信息回答问题。我们将使用boto3库来与AWS服务进行交互，并借助LangChain库来管理数据流和提示处理。

代码实现演示

下面的示例展示了如何通过SageMaker创建和调用托管的LLM进行问答:

import json
import boto3
from langchain.chains.question_answering import load_qa_chain
from langchain_community.llms import SagemakerEndpoint
from langchain_community.llms.sagemaker_endpoint import LLMContentHandler
from langchain_core.prompts import PromptTemplate
from langchain_core.documents import Document

# 示例文档内容
example_doc_1 = """
Peter and Elizabeth took a taxi to attend the night party in the city. While in the party, Elizabeth collapsed and was rushed to the hospital.
Since she was diagnosed with a brain injury, the doctor told Peter to stay besides her until she gets well.
Therefore, Peter stayed with her at the hospital for 3 days without leaving.
"""
# 文档列表
docs = [
    Document(
        page_content=example_doc_1,
    )
]

# 编写提示模板
prompt_template = """Use the following pieces of context to answer the question at the end.

{context}

Question: {question}
Answer:"""

PROMPT = PromptTemplate(
    template=prompt_template, input_variables=["context", "question"]
)

# 定义内容处理器
class ContentHandler(LLMContentHandler):
    content_type = "application/json"
    accepts = "application/json"

    def transform_input(self, prompt: str, model_kwargs: Dict) -> bytes:
        input_str = json.dumps({"inputs": prompt, "parameters": model_kwargs})
        return input_str.encode("utf-8")

    def transform_output(self, output: bytes) -> str:
        response_json = json.loads(output.read().decode("utf-8"))
        return response_json[0]["generated_text"]

content_handler = ContentHandler()

# 创建提问链
chain = load_qa_chain(
    llm=SagemakerEndpoint(
        endpoint_name="your-endpoint-name",  # 替换为您的endpoint名称
        credentials_profile_name="your-credentials-profile-name",  # 替换为您的AWS凭证配置名称
        region_name="us-west-2",
        model_kwargs={"temperature": 1e-10},
        content_handler=content_handler,
    ),
    prompt=PROMPT,
)

# 进行提问
query = """How long was Elizabeth hospitalized?"""
answer = chain({"input_documents": docs, "question": query}, return_only_outputs=True)
print(answer)

代码注释

SagemakerEndpoint：用于连接SageMaker托管的模型。
LLMContentHandler：负责请求和响应的数据格式化。
PromptTemplate：定义了查询问题时的提示和上下文结构。
load_qa_chain：用于创建问答处理链。

应用场景分析

这种问答系统可以应用于多种业务场景，如客服系统、知识问答平台、教育辅导工具等。通过映射用户提供的上下文信息与模型能力，可以快速生成准确的答案，提高系统的交互性和智能性。

实践建议

云端部署：利用云服务的高可用性和弹性扩展能力，可以极大地提高系统的稳定性。
模型优化：根据具体应用场景调整模型参数（如temperature），以得到最佳的输出效果。
安全配置：确保AWS访问凭证的安全性，避免未经授权的访问。

如果遇到问题欢迎在评论区交流。

—END—