探索Amazon Bedrock：构建安全、高效的AI应用-优快云博客

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/143354142

探索Amazon Bedrock：构建安全、高效的AI应用

引言

在构建生成式AI应用时，选择合适的平台和工具至关重要。Amazon Bedrock 是一项全托管服务，提供多种领先AI公司的高性能基础模型。本文将介绍如何使用Amazon Bedrock 构建安全且高效的AI应用，包括模型定制和应用守护策略。

主要内容

Amazon Bedrock概述

Amazon Bedrock提供了一种使用单一API访问多种基础模型的方式，支持从AI21 Labs到Meta等多家公司的模型。此服务的无服务器性质意味着开发者无需管理任何基础设施。

定制模型使用

可以通过微调和检索增强生成（RAG）技术，使用私有数据对模型进行个性化定制。以下代码展示了如何初始化与使用自定义模型：

%pip install --upgrade --quiet langchain_aws

from langchain_aws import BedrockLLM

# 使用 API 代理服务提高访问稳定性
llm = BedrockLLM(
    credentials_profile_name="bedrock-admin", 
    model_id="amazon.titan-text-express-v1"
)

custom_llm = BedrockLLM(
    credentials_profile_name="bedrock-admin",
    provider="cohere",
    model_id="<Custom model ARN>",  # ARN 从自定义模型配置获取
    model_kwargs={"temperature": 1},
    streaming=True,
)

custom_llm.invoke(input="What is the recipe of mayonnaise?")

守护策略（Guardrails）

为了确保应用的安全性和合规性，Amazon Bedrock 提供守护策略以评估用户输入和模型响应。以下是设置守护策略的示例：

from typing import Any
from langchain_core.callbacks import AsyncCallbackHandler

class BedrockAsyncCallbackHandler(AsyncCallbackHandler):
    # 处理来自 langchain 的回调

    async def on_llm_error(self, error: BaseException, **kwargs: Any) -> Any:
        reason = kwargs.get("reason")
        if reason == "GUARDRAIL_INTERVENED":
            print(f"Guardrails: {kwargs}")

# 配置带追踪功能的模型守护策略
llm = BedrockLLM(
    credentials_profile_name="bedrock-admin",
    model_id="<Model_ID>",
    model_kwargs={},
    guardrails={"id": "<Guardrail_ID>", "version": "<Version>", "trace": True},
    callbacks=[BedrockAsyncCallbackHandler()],
)