利用 Cloudflare Workers AI 进行文本嵌入的实战指南-优快云博客

技术背景介绍

Cloudflare 是一家提供内容交付网络服务、云安全、DDoS 缓解以及域名注册的国际公司。其创新产品之一 Cloudflare Workers AI，允许开发者通过 REST API 在 Cloudflare 网络上运行机器学习模型。这对于需要高性能和低延迟的 AI 应用是一个重要突破。

Cloudflare Workers AI 提供了多种文本嵌入模型，为开发者在网络边缘处理自然语言任务带来了便利。在使用这些嵌入模型之前，您需要具备 Cloudflare 的帐户 ID 和 API 令牌。

核心原理解析

文本嵌入是自然语言处理中的基本任务，它将文本转换为固定维度的向量表示，便于计算机处理。Cloudflare Workers AI 通过提供 REST API，使得这些复杂的计算可以分布到边缘节点，提升了响应速度和可靠性。

代码实现演示

我们以下示例使用 langchain_community 提供的工具包来与 Cloudflare Workers AI 交互。这个工具包简化了 API 的使用过程。以下代码展示了如何获取文本的嵌入表示。

# 安全地获取 Cloudflare 帐户信息
import getpass
from langchain_community.embeddings.cloudflare_workersai import (
    CloudflareWorkersAIEmbeddings,
)

# 获取账号 ID 和 API 令牌
my_account_id = getpass.getpass("Enter your Cloudflare account ID:\n\n")
my_api_token = getpass.getpass("Enter your Cloudflare API token:\n\n")

# 初始化 Cloudflare Workers AI 嵌入实例
embeddings = CloudflareWorkersAIEmbeddings(
    account_id=my_account_id,
    api_token=my_api_token,
    model_name="@cf/baai/bge-small-en-v1.5",  # 模型名称
)

# 进行单字符串嵌入
query_result = embeddings.embed_query("test")
print(len(query_result), query_result[:3])  # 打印结果长度和前几个元素

# 批量进行字符串嵌入
batch_query_result = embeddings.embed_documents(["test1", "test2", "test3"])
print(len(batch_query_result), len(batch_query_result[0]))  # 打印批量结果维度