十五、基于Ollama的本地开源大模型调用

---

前言

上一篇讲了如何使用Ollama来部署本地大模型，这篇文章来看看通过Ollama来调用本地大模型，思路和方法跟调用OpenAI是一样的。

一、通过Ollama调用本地大模型

可参考：https://github.com/QwenLM/Qwen-Agent/blob/main/examples/

OpenAI格式调用

from openai import OpenAI
api_key = "qwen2" # required but ignored
base_url = "http://119.163.231.69:12345/v1" # Ollama
client = OpenAI(api_key=api_key, base_url=base_url)

response = client.chat.completions.create(
    model="qwen2:7b-instruct-q4_0",
    messages = [
        {
   
   "role": "user", "content": "你知道Qwen2吗？"},
    ]
)
response.choices[0].message.content

'是的，我知道Qwen。Qwen是一个大型语言模型的名字，它是阿里云推出的一种超大规模语言模型。作为一个AI助手，我可以根据您提供的信息或问题生成相应的文本内容，并以此来帮助解答您的疑惑或者完成特定的任务需求。如果您有具体的问题或需要帮助，请随时告诉我。'

API方式调用

import requests
import json
url = "http://119.163.231.69:12345/v1/chat/completions"
data = {
   
   
   "model": "qwen2:7b-instruct-q4_0",
   "messages": [
       {
   
   "role": "user", "content": "你知道Qwen2吗？"}
   ]
}
response = requests.post(url, json=data)
# To print the response text
res = json.loads(response.text)
res['choices'][0]['message']['content']

'是的，我知道Qwen 2。Qwen 是阿里云推出的一个大型预训练语言模型，作为“通义千问”（Tongyi Qianwen）的一部分，它是通过大规模无监督学习和少量有监督微调来构建的。Qwen设计用于理解和生成人类语言文本，在多种自然语言处理任务中表现出强大的能力，如对话、文本摘要、文本生成等。\n\n在特定领域或专业背景下，Qwen能够提供经过优化的性能。然而，请注意，与任何AI模型一样，它可能无法完全捕获所有知识或完美地执行任务，尤其是在需要特定文化理解或最新数据时。如果您有更具体的问题或希望讨论某方面的应用，请随时告诉我！'

二、Function Calling

使用from qwen_agent.llm import get_chat_model来使用Qwen2 Funtion Calling能力。

# 获取天气函数
def get_current_weather(location, unit='fahrenheit'):
    """Get the current weather in a given location"""
    if 'tokyo' in location.lower():
        return json.dumps(