【ai大模型开发应用】 大模型从本地部署到调用

一、本地部署模型

大模型本地部署，我用的是ollama部署，也可以是自己去社区下载模型部署（我没有尝试过）。

首先，先从ollama官网下载ollama，这里我就不过多介绍这个了，我比较喜欢阐述代码。
ollama官网：https://ollama.com/

二、python调用本地部署的模型以及调用官方模型

2.1调用本地部署的模型

python有ollama库，可以直接调用ollama部署的模型。
安装ollama库：

pip install ollama

然后直接调用即可。

import ollama

print(ollama.list())

response = ollama.generate(
    model="deepseek-r1:1.5b",
    prompt = "为我写一首关于春天的诗。"
)

print(response.response)

2.2 调用官方的模型

这个需要去官网获取自己的api-key，deepseek也有，它会按照token计费。
这里用的技术框架是langchain、dotenv
langchain是目前非常流行的ai大模型应用框架。
.env文件

DEEPSEEK_API_KEY = ‘**************’     #自己从官网获取的api-key
DEEPSEEK_BASE_URL = 'https://www.api.deepseek.com/‘    #api网址

baseUse.py

import os

from dotenv import load_dotenv,find_dotenv 
load_dotenv()     #这里是获取环境变量，获取本地的env文件，
print(os.getenv("DEEPSEEK_API_KEY"))

from langchain_deepseek import ChatDeepSeek
llm = ChatDeepSeek(model="deepseek-chat")

response = llm.invoke("***会成功吗？")

print(response)

2.3 langchain-ollama调用本地部署大模型

Langchain和ollama互动的库：langchain-ollama：

from langchain_ollama import OllamaLLM

llm = OllamaLLM(model="deepseek-r1:1.5b")
print(llm.invoke("***是谁？"))

三、安装langchain时遇到的bug解决
error 1：

这里是说不能下载最新的langchain版本，是因为本机电脑装的python版本是3.8的，3.8不支持langchain0.3版本的。因此需要更高版本的python环境。
解决方案：去官网下载最新的python版本。
error2:

这个报错的原因是因为python中的ssl模块不可用，需要让python信任这个镜像源。

pip3 install langchain==0.3.7 -i https://pypi.tuna.tsinghua.edu.cn/simple pip -U --trusted-host pypi.tuna.tsinghua.edu.cn
pip3 install langchain-openai==0.2.3 -i https://pypi.tuna.tsinghua.edu.cn/simple pip -U --trusted-host pypi.tuna.tsinghua.edu.cn