探索Amazon Bedrock：构建强大且安全的生成式AI应用-优快云博客

本文链接：https://blog.youkuaiyun.com/aehrutktrjk/article/details/144305163

探索Amazon Bedrock：构建强大且安全的生成式AI应用

随着生成式AI技术的快速发展，企业对AI应用的需求日益增加。Amazon Bedrock提供了一个全面且集成的平台，使开发者能够轻松访问和定制顶级AI模型。本文将深入探讨Amazon Bedrock的功能，并提供实用的代码示例来指导您如何构建强大且安全的AI应用。

引言

在现代科技环境中，生成式AI应用变得越来越重要。Amazon Bedrock作为一个集中式的平台，提供了一系列高性能的基础模型，帮助开发者构建和集成AI应用。本文旨在帮助开发者了解如何利用Amazon Bedrock的功能，包括模型定制、使用API代理服务提升访问稳定性等。

主要内容

Amazon Bedrock的基本功能

Amazon Bedrock 是一种完全托管的服务，提供来自领先AI公司的高性能基础模型。通过单一API，开发者可以使用这些模型构建生成式AI应用，并确保应用的安全性和隐私。

模型选择：Bedrock提供来自AI21 Labs、Anthropic、Cohere等公司的多种模型。
模型定制：支持私有数据定制，包含微调和检索增强生成（RAG）技术。
无服务器架构：无需管理基础设施，便于与现有AWS服务集成。

使用Langchain_aws库构建应用

使用langchain_aws库，可以轻松访问和操作Amazon Bedrock中的语言模型。以下是一个基本的代码示例，展示如何初始化Amazon Bedrock的语言模型。

%pip install --upgrade --quiet langchain_aws

from langchain_aws import BedrockLLM

llm = BedrockLLM(
    credentials_profile_name="bedrock-admin", model_id="amazon.titan-text-express-v1"
)

定制和调用自定义模型

利用langchain_aws，您可以加载和调用自定义的模型。例如，使用Cohere提供的模型：

custom_llm = BedrockLLM(
    credentials_profile_name="bedrock-admin",
    provider="cohere",
    model_id="<Custom model ARN>",  # ARN like 'arn:aws:bedrock:...' obtained via provisioning the custom model
    model_kwargs={"temperature": 1},
    streaming=True,
)

response = custom_llm.invoke(input="What is the recipe of mayonnaise?")
print(response)

请注意，由于某些地区的网络限制，开发者可能需要使用API代理服务来提高访问稳定性。

安全措施和护栏

Amazon Bedrock提供护栏功能，以确保生成式AI应用的安全性和正确性。开发者可以通过定义特定策略，确保应用符合使用标准。

from typing import Any
from langchain_core.callbacks import AsyncCallbackHandler

class BedrockAsyncCallbackHandler(AsyncCallbackHandler):
    # 处理来自langchain的回调的异步处理器。

    async def on_llm_error(self, error: BaseException, **kwargs: Any) -> Any:
        reason = kwargs.get("reason")
        if reason == "GUARDRAIL_INTERVENED":
            print(f"Guardrails: {kwargs}")

# 设置带有护栏的Bedrock语言模型
llm = BedrockLLM(
    credentials_profile_name="bedrock-admin",
    model_id="<Model_ID>",
    model_kwargs={},
    guardrails={"id": "<Guardrail_ID>", "version": "<Version>", "trace": True},
    callbacks=[BedrockAsyncCallbackHandler()],
)