探索Azure AI Services Toolkit的强大能力

最新推荐文章于 2025-05-06 19:03:07 发布

asdfghiuus

最新推荐文章于 2025-05-06 19:03:07 发布

阅读量1.8k

点赞数 45

文章标签： azure 人工智能 flask python

本文链接：https://blog.youkuaiyun.com/asdfghiuus/article/details/144629736

版权

引言

在当前的数字化时代，人工智能（AI）正以前所未有的速度改变我们的工作方式。Azure AI Services 提供了一系列强大的工具和服务，来帮助开发者创建具有多模态能力的智能应用。本篇文章将详细介绍如何使用 Azure AI Services Toolkit，并提供实际的代码示例，帮您在项目中更好地集成这些AI工具。

主要内容

工具包概述

Azure AI Services Toolkit 是一个综合工具包，旨在帮助开发者利用 Azure AI Services API 来实现多模态功能。该工具包当前包含五个主要工具：

AzureAiServicesImageAnalysisTool: 从图像中提取标题、对象、标签和文本。
AzureAiServicesDocumentIntelligenceTool: 从文档中提取文本、表格和键值对。
AzureAiServicesSpeechToTextTool: 将语音转录为文本。
AzureAiServicesTextToSpeechTool: 将文本合成为语音。
AzureAiServicesTextAnalyticsForHealthTool: 提取医疗实体。

设置环境

要使用这些工具，首先需要一个 Azure 账号并创建一个 AI 服务资源。创建完毕后，获取资源的端点、密钥和区域，并将其设置为环境变量。

安装依赖包

使用以下命令安装所需的 Python 包：

%pip install --upgrade --quiet azure-ai-formrecognizer > /dev/null
%pip install --upgrade --quiet azure-cognitiveservices-speech > /dev/null
%pip install --upgrade --quiet azure-ai-textanalytics > /dev/null
%pip install --upgrade --quiet azure-ai-vision-imageanalysis > /dev/null
%pip install -qU langchain-community

配置环境变量

import os

os.environ["OPENAI_API_KEY"] = "sk-"
os.environ["AZURE_AI_SERVICES_KEY"] = ""
os.environ["AZURE_AI_SERVICES_ENDPOINT"] = ""
os.environ["AZURE_AI_SERVICES_REGION"] = ""

请注意，由于某些地区的网络限制，开发者可能需要考虑使用API代理服务来提高访问稳定性。

代码示例

首先，我们来创建一个 AzureAiServicesToolkit 对象，并从中获取工具列表：

from langchain_community.agent_toolkits import AzureAiServicesToolkit

toolkit = AzureAiServicesToolkit()

tools = toolkit.get_tools()

接下来，我们会创建一个 AgentExecutor，并使用这些工具执行任务：

from langchain import hub
from langchain.agents import AgentExecutor, create_structured_chat_agent
from langchain_openai import OpenAI

llm = OpenAI(temperature=0)
prompt = hub.pull("hwchase17/structured-chat-agent")
agent = create_structured_chat_agent(llm, tools, prompt)

agent_executor = AgentExecutor(
    agent=agent, tools=tools, verbose=True, handle_parsing_errors=True
)

response = agent_executor.invoke(
    {
        "input": "What can I make with these ingredients? "
        + "https://images.openai.com/blob/9ad5a2ab-041f-475f-ad6a-b51899c50182/ingredients.png"
    }
)
print(response['output'])