使用Ollama部署本地LLM:构建AI REST API的简易指南

开源模型应用落地-工具使用篇-Ollama(六) Ollama集成QWen1.5系列模型,全网唯一,绝非搬运。 阅读详情

file

利用Ollama本地LLM(大语言模型)搭建AI的REST API服务是一个实用的方法。下面是一个简单的工作流程。

1. 安装Ollama和LLMs

首先,在本地机器上安装Ollama和本地LLMs。Ollama可以帮助你轻松地在本地部署LLMs,并让它们更方便地处理各种任务。

安装 Ollama

file

Ollama安装界面

file

Ollama下载页面

file

安装应用文件

为Ollama安装LLMs

ollama pull llama3
ollama run llama3

file

下载并运行llama3

file

在本地与llama3对话

Ollama命令

可用的命令:
  /set         设置会话变量
  /show        显示模型信息
  /bye         退出
  /?, /help    帮助命令

使用 "" 开始多行消息

测试Ollama

curl http://localhost:11434/api/generate -d '{  
  "model": "llama3",  
  "prompt": "为什么天空是蓝色的?",  
  "stream": true  
}'

file

如果stream设置为false,响应将是一个完整的JSON对象。

curl http://localhost:11434/api/generate -d '{  
  "model": "llama3",  
  "prompt": "为什么天空是蓝色的?",  
  "stream": false  
}'

file

2. 设置FastAPI

接下来,设置一个Python的FastAPI应用。FastAPI是一个现代、快速(高性能)的Web框架,基于标准的Python类型提示,支持Python 3.7及以上版本。它是构建稳健高效API的理想选择。

编写FastAPI的路由和端点,以便与Ollama服务器进行交互。这个过程包括发送请求给Ollama以处理任务,比如文本生成、语言理解或其他LLM支持的AI任务。以下是一个简单的代码示例(你也可以使用 Ollama Python库 来优化代码)。

from typing import Union
from fastapi import FastAPI
from pydantic import BaseModel
import json
import requests

app = FastAPI(debug=True)

class Itemexample(BaseModel):
    name: str
    prompt: str
    instruction: str
    is_offer: Union[bool, None] = None

class Item(BaseModel):
    model: str
    prompt: str

urls = ["http://localhost:11434/api/generate"]

headers = {
    "Content-Type": "application/json"
}

@app.get("/")
def read_root():
    return {"Hello": "World"}

@app.post("/chat/{llms_name}")
def update_item(llms_name: str, item: Item):
    if llms_name == "llama3":
        url = urls[0]
        payload = {
            "model": "llama3",
            "prompt": "为什么天空是蓝色的?",
            "stream": False
        }
        response = requests.post(url, headers=headers, data=json.dumps(payload))
        if response.status_code == 200:
            return {"data": response.text, "llms_name": llms_name}
        else:
            print("错误:", response.status_code, response.text)
            return {"item_name": item.model, "error": response.status_code, "data": response.text}
    return {"item_name": item.model, "llms_name": llms_name}

测试REST-API服务

curl --location 'http://127.0.0.1:8000/chat/llama3' \
--header 'Content-Type: application/json' \
--data '{
  "model": "llama3",
  "prompt": "为什么天空是蓝色的?"
}'

file

通过API发送Curl请求

file

API日志

3. 部署

当你对REST API的功能和性能感到满意后,可以将此服务部署到生产环境。这可能涉及将其部署到云平台、使用Docker进行容器化,或者在服务器上部署。

在这个简单的示例中,我们通过使用Ollama进行本地LLM部署并结合FastAPI构建REST API服务器,创建了一个免费的AI服务解决方案。你可以通过自己的训练数据对模型进行微调以实现定制用途(我们将在未来讨论)。

程序员为什么要学大模型?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

事实上,抢你饭碗的不是AI,而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?

与其焦虑……

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。

针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1:AI大模型时代的基础理解

  • 目标:了解AI大模型的基本概念、发展历程和核心原理。

  • 内容:

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2:AI大模型API应用开发工程

  • 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。

  • 内容:

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3:AI大模型应用架构实践

  • 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。

  • 内容:

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4:AI大模型私有化部署

  • 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。

  • 内容:

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

​

【LLM】Ollama:本地大模型 WebAPI 调用 从下载并安装。 阅读详情

相关推荐

Ollama本地部署大语言模型:从入门到实践

大语言模型(LLM)作为当前AI领域的重要技术,其云端部署常面临高成本与调试不便的挑战。通过模型量化与智能内存管理等核心技术,Ollama实现了在消费级硬件上高效运行开源大模型。该工具采用轻量化设计,支持LLaMA、Mistral等主流架构,为开发者提供开箱即用的本地调试方案。在AI开发实践中,Ollama显著降低了原型验证成本,特别适合prompt工程调试、领域适配测试等场景。结合VS Code插件与REST API,开发者可以快速构建从代码补全到智能问答的各类AI应用,实测在16GB内存设备上能流畅运行

weixin_30598225的博客 396

【AI基础】大模型部署工具之ollama的安装部署以及api调用

ollama是大模型部署方案,对应docker,本质也是基于docker的容器化技术。ollama提供了openAI兼容的api,可以最大限度的减少理解和开发成本。

旭日跑马踏云飞的专栏 4万+

Ollama教程——生成内容API:利用Ollama的原生API进行AI应用开发

在深入探讨ollama的API接口之前,让我们先了解一下API接口的基本概念及其在软件开发中的作用。API,或称应用程序编程接口,是一套明确定义的通讯方法,允许不同软件应用之间交换数据和功能。它们是现代软件开发不可或缺的一部分,尤其是在构建模块化、可扩展和维护性强的系统时。在使用生成完成(Generate a Completion)API时,精确而具体的提示词将大大提高生成内容的相关性和质量。例如,在构建聊天机器人时,根据上下文和用户的具体问题设计提示词,能够使回答更加准确和自然。

walkskyer的博客 1万+

大模型Ollama RestAPI 详解

Ollama 是一个开源的本地化工具,允许用户在本地运行大型语言模型(如 LLaMA、Mistral、Gemma 等),并通过 REST API 与模型交互。

王小工小工历程 4905

第14章:AI辅助团队协作与项目管理——让技术管理也智能化

使用Node.js脚本获取Git log,调用本地Ollama模型生成自然语言周报。无需任何云API,所有数据都在本地处理。前置准备使用Jira提供的REST API获取Sprint数据,用Python脚本生成燃尽图(HTML + Chart.js),并调用本地AI给出分析建议。无需付费BI工具。前置准备Jira API Token(在Atlassian账户中生成)requestsjinja2ollama(可选)使用飞书妙记或讯飞听见将录音转为文字,然后调用本地Ollama模型生成结构化会议纪要。

sfishfly的博客 495

图形学基础|球谐光照(Spherical Harmonics Lighting)

球谐光照(Spherical Harmonics Lighting) 文章目录球谐光照(Spherical Harmonics Lighting)一、前言二、球谐函数2.1 基函数2.2 投影与重建2.3 应用三、漫反射环境光3.1 IrradianceMap3.2 数学推导3.3 实践参考博文 一、前言 在学习图形渲染的过程中,一直對球谐函数(球谐光照)有一点了解,但没有亲手实现过。 关于球谐函数的数学概念是比较复杂的,笔者也实在无法完全理解,这篇文章只能从做东西的角度来说,公式是如何和代码进行对应的。

【黑键】 1万+

使用 Ollama 部署本地 LLM:构建 AI REST API 的简易指南

最近已有不少大厂都在秋招宣讲,也有一些已在 Offer 发放阶段了。节前,我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对新手如何入门算法岗、该如何准备面试攻略、面试常考点、大模型技术趋势、算法项目落地经验分享等热门话题进行了深入的讨论。利用Ollama本地LLM(大语言模型)搭建AI的REST API服务是一个实用的方法。下面是一个简单的工作流程。

2201_75499313的博客 1189

【雷达仿真 | FMCW TDMA-MIMO毫米波雷达信号处理仿真(可修改为DDMA-MIMO)】

1、FMCW叫做调频连续波,调频连续波有步进调频连续波(SFMCW)、线性调频连续波(LFMCW),以及其他非线性调频连续波。LFMCW有锯齿波和三角波等等;锯齿波有恒定调制周期的锯齿波和非恒定周期的锯齿波。Introduction to mmwave sensing:FMCW radars.pdf和The fundamentals of millimeter wave sensors。2、MIMO是多输入多输出(Multiple input Multiple output),也就是多发多收。

【调皮连续波】雷达技术领域知识博主 1万+

使用 Ollama 部署本地 LLM:构建AI REST API的简易指南

最近这一两周看到不少互联网公司都已经开始秋招提前批面试了。不同以往的是,当前职场环境已不再是那个双向奔赴时代了。求职者在变多,HC 在变少,岗位要求还更高了。最近,我们又陆续整理了很多大厂的面试题,帮助一些球友解惑答疑,分享技术面试中的那些弯弯绕绕。利用Ollama本地LLM(大语言模型)搭建AI的REST API服务是一个实用的方法。下面是一个简单的工作流程。

2201_75499313的博客 1282

企业IT运维实录:批量部署银河麒麟V10-SP1,Ghost镜像与UKey激活实战

本文详细介绍了企业级银河麒麟V10-SP1操作系统的批量部署全流程,包括标准化镜像制作、自动化封装技术、网络化部署方案及UKey集群激活方案。通过实战案例和技术要点解析,帮助企业IT运维团队大幅提升部署效率,确保系统安全与稳定性。

weixin_30729609的博客 388

人大金仓的‘影子表’sys_user:搞懂Schema优先级,告别字段不存在的报错

本文深入解析人大金仓数据库中‘影子表’sys_user的Schema优先级问题,帮助开发者解决字段不存在的报错。通过分析Schema搜索路径机制,提供四种解决方案,包括连接时指定Schema、动态调整搜索路径、永久修改用户设置和使用完全限定表名,确保查询准确无误。

weixin_30329623的博客 598

Flowise成果展示:一键生成可嵌入网页的API接口

本文介绍了如何在星图GPU平台自动化部署Flowise镜像,快速构建可视化AI工作流。该工具支持零代码拖拽式开发,用户可轻松创建智能问答、内容生成等应用,并一键生成API接口嵌入网页或现有业务系统,大幅提升AI应用开发效率。

weixin_28999139的博客 612

202505系分论文《论软件系统测试方法及应用》

本文以软件测试方法为切入点,重点论述分层协作、智能赋能、全流程三个维度下传统测试与自动化测试的融合应用。

pccai的博客 1696

模型能聊天了,然后呢?Dify 把你的本地模型焊进真实业务,真正干活

以下内容适合需要在 Agent 中接入第三方 API 的开发者,新手先跳过。编写 OpenAPI YAML 文件:info:title: 内部工具 APIservers:paths:/search:get:summary: 搜索内部知识description: 根据关键词搜索内部知识库in: queryschema:responses:'200':description: 搜索结果Dify 后台 → 工具 → 自定义 → 导入 OpenAPI 规范。

2601_96614951的博客 466

【谷粒商城】分布式事务与下单

=购物车== 构建gulimall-cart,复制静态资源到nginx,修改网关 购物车分为离线购物车和登录购物车 离线购物车重启浏览器了也还有 1、购物车需求 特点:读多写少,放入数据库并不合适 登录状态:登录购物车 放入数据库 mongodb 放入redis(采用) 登录以后,将离线购物车里合并后清空离线购物车 未登录状态:离线购物车 放入localstorage浏览器的技术 cookie WebSQL 放入redis(采用) 浏览器重启后还在 2、购物车VO (1) 数据结构分析

努力充实,远方可期 1万+

ADAS工作原理解析:如何通过智能技术提升驾驶安全

ADAS通过集成传感器、摄像头、雷达、SoC计算单元以及高效的数据融合技术,提供了一系列主动和被动安全功能,如自动刹车、车道保持、自适应巡航控制等。这些功能共同作用,不仅减少了交通事故的发生,还大幅提升了驾驶员的驾驶体验和安全性。随着技术的进步,ADAS的功能将越来越智能,最终迈向全自动驾驶的未来🚗💨。

weixin_43199439的博客 1151

Ollama部署granite-4.0-h-350m:5分钟搭建轻量级文本生成服务

本文介绍了如何在星图GPU平台上自动化部署【ollama】granite-4.0-h-350m镜像,快速搭建轻量级文本生成服务。该模型参数仅3.5亿,硬件要求低,擅长执行文本摘要、智能问答、代码补全等任务,是个人开发者快速体验AI能力的理想选择。

weixin_33773084的博客 113

前后端面试题【目录】

工作时候扭螺丝,面试时候造火箭,现状就是如此。不管是背八股文,还是掌握了知识的精华,对答如流才是硬道理。本专栏就是要集具前端精华,规范、算法、架构、封装、原理等一并汇集,让前端的小伙伴有个思路。, 欢迎一起交流,并非常期望您能够提供有价值的学习资料。

大剑师兰特的GIS世界 1840

GTE-Pro效果可视化案例:余弦相似度热力条直观呈现AI置信度判断

本文介绍了如何在星图GPU平台上自动化部署🧠 GTE-Pro: Enterprise Semantic Intelligence Engine镜像,实现企业级语义智能搜索。该平台能快速搭建环境,通过GTE-Pro引擎将文本转化为向量,并利用余弦相似度热力条直观呈现搜索结果的相关性置信度,典型应用于企业知识库的智能检索,帮助用户从海量文档中精准定位所需信息。

weixin_42453228的博客 635

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Flowise开源价值解析:45k Star背后的企业级功能与社区支持能力

本文介绍了如何在星图GPU平台自动化部署Flowise开源镜像,快速构建可视化AI工作流。该平台支持零代码拖拽式搭建企业级应用,如智能客服和文档问答系统,显著降低AI应用开发门槛并保障数据安全。

weixin_42591908的博客 350

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

手把手重构传统RPA流程:用LangChain+UiPath实现动态决策Bot(含可运行代码包)

手把手教你用AI升级RPA流程,解决传统脚本僵化难题。本AI RPA自动化教程基于LangChain+UiPath构建动态决策Bot,适用于发票识别、工单分派等复杂场景,支持自然语言理解与实时逻辑调整。含完整可运行代码包,值得收藏。

StepNexus的博客 184

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

动手学Ollama: Ollama REST API 详解与实战指南

Ollama本地大模型部署指南 摘要:本文详细介绍了Ollama轻量级本地大语言模型框架的REST API使用指南。主要内容包括:核心API端点解析(如文本生成的/api/generate接口)、多模态调用方法、性能优化技巧(上下文窗口设置、keep_alive参数)以及实际应用场景(文本生成、智能问答系统)。重点阐述了本地部署优势:数据安全、响应速度快、成本可控等特点,并提供了错误处理和调试技巧。文章还包含完整的Python调用示例,帮助开发者快速上手Ollama API开发。

Yoouc1的博客 2420
上一篇: LlamaCoder:一款基于Llama 3.1 405B的全新开源AI编程助手
下一篇: AI大模型如何多模态偏好对齐?最新《基于人类反馈的语言、语音和视觉任务偏好优化》综述
Llama-Turbo
博客等级 码龄4年 9902粉丝 2028原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值