Anthropic Cookbook项目：基于Amazon Bedrock平台的Claude 3 Haiku模型微调指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00930/article/details/148392857

Anthropic Cookbook项目：基于Amazon Bedrock平台的Claude 3 Haiku模型微调指南

anthropic-cookbook A collection of notebooks/recipes showcasing some fun and effective ways of using Claude. 项目地址: https://gitcode.com/gh_mirrors/an/anthropic-cookbook

前言

在当今快速发展的人工智能领域，模型微调(Fine-tuning)已成为提升大语言模型性能的关键技术。本文将详细介绍如何利用Anthropic Cookbook项目中的技术方案，在Amazon Bedrock平台上对Claude 3 Haiku模型进行微调。通过本教程，您将掌握从数据准备到模型部署的完整流程。

准备工作

在开始微调之前，需要确保满足以下条件：

AWS账户权限：拥有访问Amazon Bedrock服务的有效AWS账户
数据集准备：准备好训练数据集（可使用提供的示例数据集）
IAM角色配置：设置具有访问S3存储桶权限的服务角色

安装必要的Python依赖：

pip install boto3

数据集准备规范

微调Claude 3 Haiku模型需要特定格式的训练数据，必须遵循以下规范：

数据格式要求

文件格式：JSONL（每行一个JSON对象）

数据结构：

{
  "system": "<可选系统消息>",
  "messages": [
    {"role": "user", "content": "用户消息"},
    {"role": "assistant", "content": "助手回复"},
    // 更多交替对话...
  ]
}

关键约束条件

系统消息字段是可选的
必须包含至少两条消息
第一条消息必须来自用户(user)
最后一条消息必须来自助手(assistant)
用户和助手消息必须交替出现
不允许包含额外字段

示例数据集分析

项目中提供了一个JSON模式训练数据集，该数据集训练模型以JSON格式响应所有查询。以下是示例数据片段：

{
  "system": "JSON Mode: Enabled",
  "messages": [
    {
      "role": "user",
      "content": "What is the capital of France?"
    },
    {
      "role": "assistant",
      "content": "{\"answer\": \"Paris\"}"
    }
  ]
}

数据上传流程

将准备好的数据集上传至S3存储桶：

import boto3

bucket_name = "YOUR_BUCKET_NAME"
s3_path = "json_mode_dataset.jsonl"

s3 = boto3.client('s3')
s3.upload_file(dataset_path, bucket_name, s3_path)

启动微调作业

配置参数详解

在启动微调作业前，需要设置以下关键参数：

# 基础配置
job_name = "anthropic-finetuning-cookbook-training"
custom_model_name = "anthropic_finetuning_cookbook"
role = "YOUR_AWS_SERVICE_ROLE_ARN"
output_path = f"s3://{bucket_name}/finetuning_example_results/"
base_model_id = "arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-3-haiku-20240307-v1:0:200k"

# 超参数设置
epoch_count = 5       # 训练轮次
batch_size = 4        # 批次大小
learning_rate_multiplier = 1.0  # 学习率乘数

启动微调作业

使用boto3客户端启动微调过程：

bedrock = boto3.client(service_name="bedrock")
bedrock_runtime = boto3.client(service_name="bedrock-runtime")

response = bedrock.create_model_customization_job(
    customizationType="FINE_TUNING",
    jobName=job_name,
    customModelName=custom_model_name,
    roleArn=role,
    baseModelIdentifier=base_model_id,
    hyperParameters={
        "epochCount": f"{epoch_count}",
        "batchSize": f"{batch_size}",
        "learningRateMultiplier": f"{learning_rate_multiplier}",
    },
    trainingDataConfig={"s3Uri": f"s3://{bucket_name}/{s3_path}"},
    outputDataConfig={"s3Uri": output_path},
)

作业状态监控

可通过以下方式检查作业状态：

status = bedrock.get_model_customization_job(jobIdentifier=job_name)["status"]
print(f"当前作业状态: {status}")

部署与使用微调模型

模型部署

微调完成后，需要通过Amazon Bedrock的Provisioned Throughput功能部署模型：

获取Provisioned Throughput ARN
配置适当的吞吐量容量

模型调用示例

部署成功后，可通过Bedrock API调用微调后的模型：

provisioned_throughput_arn = "YOUR_PROVISIONED_THROUGHPUT_ARN"

body = json.dumps({
    "anthropic_version": "bedrock-2023-05-31",
    "max_tokens": 1000,
    "system": "JSON Mode: Enabled",
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "What is a large language model?"
                }
            ]
        }
    ]
})

response = bedrock_runtime.invoke_model(
    modelId=provisioned_throughput_arn,
    body=body
)
result = json.loads(response['body'].read().decode('utf-8'))
print(result['content'][0]['text'])