使用OllamaFunctions增强模型工具调用能力_ollama 工具调用-优快云博客

本文链接：https://blog.youkuaiyun.com/aGRGWRF/article/details/144633560

引言

在现代AI应用程序中，增强语言模型的能力以支持多功能任务变得越来越重要。OllamaFunctions作为一个实验性封装器，为不具备原生工具调用支持的模型提供了这种能力。在这篇文章中，我们将探讨如何使用OllamaFunctions来赋予模型工具调用能力，并提供实践中的代码示例。

主要内容

OllamaFunctions概述

OllamaFunctions是一个实验性工具，旨在为不具备原生工具调用支持的模型添加这种能力。虽然Ollama的主要整合现在已经支持工具调用，但OllamaFunctions依然提供了一种灵活的方式来扩展模型功能。它尤其适用于复杂的模式和多个功能的场景。

安装和设置

要使用OllamaFunctions，需要安装langchain-experimental包。以下是安装步骤：

%pip install -qU langchain-experimental

安装完成后，可以按照指引设置和运行本地的Ollama实例，并下载和服务支持的模型。

模型实例化

OllamaFunctions与ChatOllama使用相同的初始化参数。为了使用工具调用功能，需要指定format="json"。

from langchain_experimental.llms.ollama_functions import OllamaFunctions

llm = OllamaFunctions(model="phi3")

工具调用功能

通过OllamaFunctions.bind_tools()，可以传入Pydantic类、字典模式、LangChain工具或自定义函数作为工具。这样，这些工具会被转换为工具定义模式。

from langchain_core.pydantic_v1 import BaseModel, Field

class GetWeather(BaseModel):
    """获取指定地点的当前天气"""
    location: str = Field(..., description="城市和州，例如：San Francisco, CA")

llm_with_tools = llm.bind_tools([GetWeather])

ai_msg = llm_with_tools.invoke(
    "what is the weather like in San Francisco",
)

代码示例

以下是一个完整的代码示例，展示了如何使用OllamaFunctions进行语言翻译和工具调用：

from langchain_experimental.llms.ollama_functions import OllamaFunctions
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field

# 实例化OllamaFunctions
llm = OllamaFunctions(model="phi3")

# 设置翻译任务
messages = [
    (
        "system",
        "You are a helpful assistant that translates English to French. Translate the user sentence.",
    ),
    ("human", "I love programming."),
]

ai_msg = llm.invoke(messages)
print(ai_msg.content)  # 输出: "J'adore programmer."

# 使用工具调用
class GetWeather(BaseModel):
    """获取指定地点的当前天气"""
    location: str = Field(..., description="城市和州，例如：San Francisco, CA")

llm_with_tools = llm.bind_tools([GetWeather])

ai_msg = llm_with_tools.invoke(
    "what is the weather like in San Francisco",
)
print(ai_msg.tool_calls)  # 输出工具调用信息

常见问题和解决方案

工具调用失败

问题：工具调用可能无法正常工作。
解决方案：确保传入的工具定义正确，并且模型支持工具调用模式。

网络访问问题

问题：由于某些地区的网络限制，API访问可能不稳定。
解决方案：建议使用API代理服务来提高访问稳定性。例如，将API端点配置为{AI_URL}。

总结与进一步学习资源

OllamaFunctions为增强语言模型的功能提供了一种灵活的方式。它允许开发者通过工具调用来扩展模型的能力，使其更适合复杂任务。为了进一步深入了解，建议查阅以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—