ollama部署本地大模型,Linux以及python调用

Ollama的配置修改与接口调用 阅读详情
AI摘要

本文介绍如何在Linux及Python环境中通过Ollama部署并调用本地大模型,涵盖WSL配置、Ollama安装启动、模型运行及Python调用方法,对比了本地与API接口调用的差异。

导读

环境:oricle Linux 9.4、Windows 11、WSL 2、python 3.12.3、qwen2.5、ollama

背景:工作需要,测试本地部署与线上调用接口使用差别

时间:20241221

说明:本地测试apikey的接口,通过后,再调用部署本地接口

 一、本地调用接口

官方文档:阿里云百炼 - 示例代码 - 地址

import os
from openai import OpenAI

client = OpenAI(
    # 若没有配置环境变量,请用百炼API Key将下行替换为:api_key="sk-xxx",
    api_key=os.getenv("DASHSCOPE_API_KEY"), 
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)
completion = client.chat.completions.create(
    model="qwen-plus", # 模型列表:https://help.aliyun.com/zh/model-studio/getting-started/models
    messages=[
        {'role': 'system', 'content': 'You are a helpful assistant.'},
        {'role': 'user', 'content': '你是谁?'}],
    )
    
# print(completion.model_dump_json())
# 此处改为返回ai的响应内容
print(completion.choices[-1].message.content)

响应如下:

(venv) [jack@Laptop-L14-gen4 test_img]$ /home/jack/test_img/venv/bin/python /home/jack/test_img/ollm_test.py
我是阿里云开发的一款超大规模语言模型,我叫通义千问。

二、本地部署大模型

1、Windows 安装 Linux子系统

Windows 安装Linux子系统 配置python3

2、安装ollama

sudo curl -fsSL https://ollama.com/install.sh | sh

 开始执行如下图(等待即可):

完成如下图:。。。暂略


3、启动ollama

       ollama serve

[jack@Laptop-L14-gen4 ~]$ ollama serve
2024/12/21 18:10:12 routes.go:1259: INFO server config env="map[CUDA_VISIBLE_DEVICES: GPU_DEVICE_ORDINAL: HIP_VISIBLE_DEVICES: HSA_OVERRIDE_GFX_VERSION: HTTPS_PROXY: HTTP_PROXY: NO_PROXY: OLLAMA_DEBUG:false OLLAMA_FLASH_ATTENTION:false OLLAMA_GPU_OVERHEAD:0 OLLAMA_HOST:http://127.0.0.1:11434 OLLAMA_INTEL_GPU:false OLLAMA_KEEP_ALIVE:5m0s OLLAMA_KV_CACHE_TYPE: OLLAMA_LLM_LIBRARY: OLLAMA_LOAD_TIMEOUT:5m0s OLLAMA_MAX_LOADED_MODELS:0 OLLAMA_MAX_QUEUE:512 OLLAMA_MODELS:/home/jack/.ollama/models OLLAMA_MULTIUSER_CACHE:false OLLAMA_NOHISTORY:false OLLAMA_NOPRUNE:false OLLAMA_NUM_PARALLEL:0 OLLAMA_ORIGINS:[http://localhost https://localhost http://localhost:* https://localhost:* http://127.0.0.1 https://127.0.0.1 http://127.0.0.1:* https://127.0.0.1:* http://0.0.0.0 https://0.0.0.0 http://0.0.0.0:* https://0.0.0.0:* app://* file://* tauri://* vscode-webview://*] OLLAMA_SCHED_SPREAD:false ROCR_VISIBLE_DEVICES: http_proxy: https_proxy: no_proxy:]"
time=2024-12-21T18:10:12.248+08:00 level=INFO source=images.go:757 msg="total blobs: 5"

 4、运行指定模型

(首次运行,自动下载模型)

 命令来源:ollama 官网 命令

[jack@Laptop-L14-gen4 ~]$ ollama run qwen2.5:0.5b
>>> 你是谁?
我是阿里云自主研发的超大规模语言模型,我叫通义千问。我已经知能突破1000亿,可以回答、创作和撰写文字内容,还能提供一些
专业知识解答、音乐、游戏等内容,以及像对话框这样的功能。如果您有任何问题或需要帮助,请随时告诉我!

>>> Send a message (/? for help)

三、python调用本地部署的大模型

 运行代码:

from openai import OpenAI

client = OpenAI(
    # 若没有配置环境变量,请用百炼API Key将下行替换为:api_key="sk-xxx",
    api_key="ollama", 
    base_url="http://localhost:11434/v1/",
)
completion = client.chat.completions.create(
    model="qwen2.5:0.5b", # 模型列表:https://help.aliyun.com/zh/model-studio/getting-started/models
    messages=[
        {'role': 'system', 'content': 'You are a helpful assistant.'},
        {'role': 'user', 'content': '你是谁?'}],
    )
    
print(completion.choices[-1].message.content)

响应结果

(venv) [jack@Laptop-L14-gen4 test_img]$ /home/jack/test_img/venv/bin/python /home/jack/test_img/ollm_test.py
我是来自阿里云的大规模语言模型,我被称为通义千问。我会根据你的问题生成回答。有什么我能为你服务的吗?
(venv) [jack@Laptop-L14-gen4 test_img]$ /home/jack/test_img/venv/bin/python /home/jack/test_img/ollm_test.py
我是来自阿里云的超大规模语言模型,我叫通义千问。如果您有任何问题或需要任何帮助,请随时告诉我,我将尽力为您提供满意的回答和解决方案。

四、总结

调用apikey和本地部署的区别仅在api_key、base_url、model三个参数有区别

在本地部署Ollama服务接口附加OpenWebUI做测试 ollama可提供open AI一样的API接口 阅读详情

相关推荐

ollama本地大模型,ollama及其openai接口实现

ollama本地部署大模型接口实现

世上再无张显宗 2363

ollama 设置API key

通过nginx的方式实现ollama API 一定程度(专业度不高,不敢说一定安全,但对于我这种小白来说够用了)的安全暴露。

xianciSele的博客 2万+

Ollama本地大模型部署实战:从安装到API调用全指南

大模型正从云端走向本地,本地部署成为数据敏感场景和离线环境的首选方案。其核心原理是将开源模型封装为服务,通过统一接口完成模型下载、加载与推理。这一技术价值在于降低环境配置门槛,使开发者无需深入底层框架即可调用大语言模型能力。在应用场景中,无论是个人的代码辅助、文本生成,还是企业的内部知识库问答,本地模型都提供了可控、低延迟且成本可预测的解决方案。而Ollama作为轻量级工具,进一步简化为类似包管理器的操作体验,支持一行命令拉取模型、启动交互对话、暴露本地API接口。基于实际踩坑记录,系统梳理Ollama的安

weixin_29031057的博客 275

【AI基础】大模型部署工具之ollama的安装部署以及api调用

ollama是大模型部署方案,对应docker,本质也是基于docker的容器化技术。ollama提供了openAI兼容的api,可以最大限度的减少理解和开发成本。

旭日跑马踏云飞的专栏 4万+

Ollama本地大模型保姆级部署教程:从零安装到API接入

本地大模型运行不再需要繁琐的权重下载和推理环境搭建,Ollama将模型拉取、加载和接口暴露封装成简洁命令,成为个人电脑上手AI的首选工具。不过,安装只是起点,真正决定长期体验的,往往是硬件评估、磁盘规划、环境变量配置和API接入这些容易被忽略的细节。本文从基础概念讲起,解析Ollama的模型管理与调用原理,结合内存、显存对模型参数量选择的影响,以及OLLAMA_MODELS、OLLAMA_HOST等关键环境变量的设置方法,覆盖Windows、Linux、macOS三平台部署流程,并展示如何通过OpenAI兼

weixin_32501329的博客 140

Ollama实战指南:本地大模型部署、API接入与Agent开发

随着大模型技术快速发展,云端API的高延迟、数据外泄风险和按token计费的成本压力,促使开发者重新审视本地部署方案。Ollama作为开源本地大模型运行工具,通过封装模型下载、推理服务与标准API,将本地运行大模型的门槛降至接近零。其底层基于llama.cpp运行时,支持CPU与GPU灵活调度,并提供与OpenAI兼容的HTTP接口,能够无缝对接Python、Java等主流语言。该方案不仅适用于个人开发者的环境搭建,也支撑企业级场景中的私有化知识库、Agent智能体及WebUI交互系统。本文基于实操经验,系

weixin_29056781的博客 368

Ollama本地部署DeepSeek大模型

本文介绍了如何利用Ollama开源框架在Windows和Linux平台上本地部署DeepSeek大模型。Ollama简化了大型语言模型的本地部署与管理,支持多种模型格式和硬件加速。具体步骤包括:下载安装Ollama,配置环境变量,选择合适的DeepSeek模型版本进行部署,并通过Python代码调用模型接口。文章还提供了Linux平台的一键安装命令和Windows的详细安装流程,帮助开发者高效利用DeepSeek的自然语言处理能力。更多技术细节可参考配套教材和视频课程。

weixin_52610848的博客 1785

能碳双控| AIRIOT智慧能碳管理解决方案

基于AIRIOT打造的智慧能碳管理平台解决方案结合大数据、物联网、人工智能(AI)、数字孪生等新一代信息技术,通过整合碳达峰、碳中和、实时碳价、碳配额和碳资产等多个模块,为组织提供了全方位、灵活且智能的碳资产管理解决方案,有助于实现碳管理目标、提升可持续性,并适应碳市场的不断变化。

AIRIOT的博客 1809

阿里云,云端部署ollama,本地调用原创教程

部署自己的大模型

zy215215的博客 5368

cellranger安装以及使用

接受cellranger count的输出数据,将同一组的不同测序样本的表达矩阵整合在一起,比如tumor组原来有4个样本,PBMC组有两个样本,现在可以使用aggr生成最后的tumor和PBMC两个矩阵,并且进行标准化去掉测序深度的影响。但是由于病毒基因组太小了,且注释结果只有CDS没有exon,所以曲线救国,将CDS整体替换为exon,也不进行过滤了,直接下一步。虽然安装完毕,但是现在要运行cellranger的话需要在终端输入cellranger的整个路径。自动执行这个命令,需要将“

m0_59974475的博客 9397

单片机控制双向可控硅的5种实用触发电路设计(附完整电路图)

本文深入解析了单片机控制双向可控硅的5种实用触发电路设计,涵盖从基础隔离到复杂负载驱动的实战方案。重点探讨了光电耦合器选型、过零检测同步、RC吸收电路精密计算以及应对感性负载和高噪声环境的加固策略,并提供了完整的电路图与调试避坑指南,旨在帮助开发者实现安全可靠的交流负载控制。

joy55的博客 2229

搭建本地大模型:Ollama 使用全指南

本文全面介绍了Ollama这一本地大模型运行工具的使用指南。Ollama支持Llama3、Mistral等主流开源模型,提供简单的命令行操作和本地REST API,支持macOS、Windows和Linux系统,可自动利用硬件加速。文章详细说明了安装步骤、模型管理、API调用、性能优化及常见问题解决方法,并提供了Python集成示例。Ollama将本地大模型使用门槛降至最低,适合隐私敏感场景和高频开发测试,是搭建本地LLM环境的理想选择。

haoyuxuanyuan的博客 1540

OpenBmc开发2:构建开发环境

编译环境VMware + ubuntu 18.04 编译环境构建:参考OpenBmc开发1:构建开发环境 1、打开一个Ternimal,进入openbmc目录下 2、查看有哪些不同的编译配置 find meta-* -name local.conf.sample 可以看到如下编译配置 3、生成编译配置 插入TEMPLATECONF,上边查询到的配置有很多,但是有一些...

master 2万+

LangChain调用Deepseek大模型

LangChain通过Ollama调用Deepseek大模型

峰爸的博客 846

PCB压合原理与工艺全流程深度解析

PCB压合是多层印制电路板制造中的核心工序,其本质并非简单物理叠加,而是高分子树脂流动、玻璃布应力释放、铜箔热膨胀及界面能调控的协同过程。理解压合原理,需掌握温度-压力-时间三维曲线动态关系;优化工艺流程,须兼顾叠板精度、热压参数匹配与冷却策略;关键影响因素如半固化片(PP)选型、铜箔表面处理、设备温场均匀性、结构对称性、环境湿度及操作手法,共同决定层间结合力、翘曲度与孔壁质量。本文围绕PCB压合原理、工艺流程、关键影响因素三大维度展开,融合IPC标准、实测数据与产线案例,为工艺工程师、NPI人员及设备维护

weixin_29191081的博客 261

YOLOv11安卓端部署终极指南:从训练到NCNN移植,30分钟搞定手机实时检测!

本文详细介绍了YOLOv11模型在安卓设备上的NCNN部署全流程。主要内容包括:1) 环境配置要求(Python3.8+、PyTorch、NCNN框架等);2) COCO2017数据集准备与配置;3) 模型训练建议(使用RTX3090,50-100个epoch);4) 模型导出转换步骤(ONNX格式转换、NCNN优化);5) 安卓端实现的关键优化(快速sigmoid实现、纯C++NMS等)。项目在安卓CPU模式下可实现20FPS的稳定检测,并提供了激活函数选择、模型量化等性能调优建议。通过参考多个开源项目,

FJN110的博客 1727

DeepSeek-Ollama-部署实战指南

本文提供从零开始使用Ollama部署DeepSeek大模型的完整实战指南。涵盖Windows/Linux/macOS多平台安装、硬件评估与模型选型、命令行交互

agoutongxie的博客 2294

Codex 100个真实案例 - 用AI做英语单词计划学习工具(记忆曲线+测验)

背单词是英语学习的基本功,但市面上的背单词 APP 要么收费、要么广告太多。本案例用 Codex 从零打造一个 **英语单词计划学习工具**,实现 SM-2 间隔重复算法(Anki 的核心算法)、单词本增删改查、多种测验模式(选择题/拼写/听写)、TTS 发音播放,以及学习数据的可视化统计图表。全程用自然语言驱动 Codex,用 Python 写后端逻辑 + 终端 UI,打造你的私人背单词助手!

yueyeguzhuo的专栏 216

AI-ollama软件安装(一)

本文详细介绍了Ollama大模型的安装部署、API调用及本地化应用方案。主要内容包括:1)Ollama的联网/离网安装方法;2)核心命令操作指南,涵盖模型管理、运行服务和交互控制指令;3)API调用实现,包括Python集成示例;4)本地大模型部署方案,涉及服务暴露配置和API测试;5)重点探讨了"上下文雪球"问题及其解决方案,对比分析了外部记忆层、模型内化记忆等主流技术路线。文章通过具体代码示例和配置说明,为开发者提供了完整的Ollama应用实施指南,最后还展望了提示词工程和AI应用

hebisnsn的博客 259

11、机器学习中的聚类与隐马尔可夫模型

本文介绍了机器学习中的两种重要方法:聚类算法和隐马尔可夫模型(HMM)。聚类作为无监督学习的代表,适用于发现无标签数据中的结构,常见算法包括K-均值和自组织映射(SOM),并在传感器数据分析等场景中展现应用价值。隐马尔可夫模型则是一种可解释的序列模型,用于从观测数据中推断隐藏状态,广泛应用于语音识别、自然语言处理和生物信息学等领域。文章详细讲解了HMM的核心概念如马尔可夫性质、转移与发射概率,并通过TensorFlow实现了前向算法,展示了其计算观测序列概率的动态规划思想。最后对比了两类方法的应用场景,展望

garlic的博客 182

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

[大模型实战 01] 本地大模型初体验:Ollama 部署与 Python 调用指南

简单来说,它能帮咱们快速拉取模型文件,让模型在本地直接运行并进行对话。同时,它还能把模型打包成一个标准的接口,通过端口开放给咱们写的 Python 脚本调用。

huang9604的博客 1507

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

本地大模型环境搭建指南:Ollama与Python实战调用

本地部署大模型并非简单下载模型文件,而是涉及模型格式、推理引擎与应用接口的多层架构。GGUF格式的权重参数需要借助llama.cpp这类推理引擎才能运行,而Ollama则将模型管理、硬件调用和HTTP接口封装为统一工具,并对外提供兼容OpenAI格式的API。本地化方案能有效保护数据隐私、降低长期API调用成本,尤其在处理敏感文档、构建个人知识库或离线生成场景中价值显著。Python作为最成熟的应用开发生态,通过requests、官方库或OpenAI SDK即可便捷调用本地模型。从环境搭建到调用实践,Oll

weixin_30985047的博客 155

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Ollama本地AI部署指南:从零搭建大模型开发环境与API集成

大语言模型(LLM)作为当前人工智能领域的核心技术,通过海量数据训练获得强大的自然语言理解和生成能力。其工作原理基于Transformer架构,通过自注意力机制捕捉文本中的长距离依赖关系。这项技术的核心价值在于大幅降低了AI应用开发门槛,使开发者能够快速构建智能对话、内容生成等应用。在实际工程实践中,本地部署大模型常面临环境配置复杂、资源要求高等挑战。Ollama作为开源工具,通过容器化封装和GGUF量化技术,将模型、运行时和优化库打包为统一可执行单元,实现了极简的安装与模型管理流程。结合OpenAI兼容的

405

在Windows系统和Linux系统部署本地大模型

本地大模型的部署以及后端代码的编写

2402_87781262的博客 460

Ollama本地大模型实战:从安装到API调用的全流程解析

本文详细解析了Ollama本地大模型的安装、配置及API调用全流程,特别适合开发者快速部署和管理大模型。从基础安装到生产环境优化,再到Python API集成开发,提供了实用技巧和常见问题解决方案,帮助用户高效实现本地大模型应用。

weixin_30776273的博客 501

Ollama跨平台实战:本地大模型快速部署与Python调用指南

在人工智能应用快速落地的今天,本地化部署大语言模型已成为开发者和中小团队关注的热点。Ollama作为一个跨平台的大模型运行工具,通过封装模型下载、加载、推理及API服务等复杂流程,让用户在Windows、macOS、Linux上均可一键拉起Llama、Qwen等开源模型。其内置的RESTful接口与OpenAI兼容的设计,大幅降低了Python、Java等语言调用本地模型的门槛,适用于离线问答、文档分析、智能客服等场景。本文从实际工程角度,系统梳理Ollama的安装细节、模型管理、参数调优及Python调用

weixin_29061041的博客 278
上一篇: FastAPI 目录结构推荐
下一篇: Linux 子系统 Ubuntu 安装MySQL 8
码--到成功
博客等级 码龄9年 317粉丝 93原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值