使用Ollama搭建一个免费的聊天机器人

Ollama GUI:图形化界面让本地大模型部署与交互更简单 大型语言模型(LLM)的本地部署为数据隐私和定制化应用提供了可能,但其命令行操作往往对非专业用户构成门槛。图形用户界面(GUI)通过将复杂命令转化为直观的点击操作,降低了技术门槛,提升了交互效率。在工程实践中,基于Electron和Vue.js等技术栈开发的桌面应用,能够实现跨平台部署,并通过响应式设计优化用户体验。这类工具的核心价值在于将模型管理、参数调整、对话交互等核心功能可视化,使得资源监控、多模型切换等操作一目了然。具体到Ollama这一流行的本地大模型运行框架,其GUI工具如chyok/ollam 阅读详情

0 概述

Ollama是一个能在本机运行大语言模型的软件,它提供命令行和API的交互方式,对于需要考虑数据隐私的情景,可以方便的使用Ollama部署大语言模型,并在此基础上开发RAG等应用,而无需调用OpenAI等开放API。Ollama基本上已经建立了比较完善的生态,除了在系统中使用命令行、API等方式交互,Langchain、Dify等开发框架也都支持Ollama,另外,也有非常多GUI客户端可以使用,像在iPhone、iPad等移动端设备上,也可以通过仅仅修改一个地址就能拥有属于自己的“ChatGPT”。

1 入门

1.1 下载安装

从官方网站https://ollama.com/直接下载安装即可

1.2 常用环境变量

1.2.1 OLLAMA_MODELS

模型下载目录

macOS下指定此目录,此目录中会下载文件,但在~/.ollama/models下也会下载文件

1.2.2 OLLAMA_HOST

Ollama监听网络地址,默认监听回环地址

export OLLAMA_HOST=0.0.0.0# or指定监听端口export OLLAMA_HOST=0.0.0.0:8080

1.3 模型库

从官方网站可以查找支持的模型https://ollama.com/library

1.4 其他可用模型

ollama run roger/minicpm

2 基本使用

2.1 下载模型

可以设置环境变量OLLAMA_MODELS来指定模型下载位置,此步非必须,因为大语言模型一般都比较大,如果需要指定下载路径,可以设置环境变量

注意修改下方的地址为自己电脑中的地址

export OLLAMA_MODELS=/Volumes/SHAERGE/Appdata/Ollama

下载模型

ollama pull gemma:2b

查看模型信息

ollama show --modelfile gemma:2b
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this one, replace the FROM line with:
# FROM gemma:2b

FROM /Users/luogang/.ollama/models/blobs/sha256-c1864a5eb19305c40519da12cc543519e48a0697ecd30e15d5ac228644957d12
TEMPLATE """<start_of_turn>user
{{ if .System }} <end_of_turn>
<start_of_turn>model
<end_of_turn>
"""
PARAMETER repeat_penalty 1
PARAMETER stop "<start_of_turn>"
PARAMETER stop "<end_of_turn>"

2.2 导出模型

记住上面的模型路径,拷贝到一个新的文件,模型格式为gguf,例如:

注意修改下方的地址为自己电脑中的地址

cp /Users/luogang/.ollama/models/blobs/sha256-c1864a5eb19305c40519da12cc543519e48a0697ecd30e15d5ac228644957d12 /Users/luogang/Downloads/gemma/gemma_2b.gguf

2.3 创建模型

创建一个Modelfile文件,最简形式如下:

From /Users/luogang/Downloads/gemma/gemma_2b.gguf

完整形式如下:

在这里插入图片描述

使用如下命令创建Ollama模型

可以设置环境变量OLLAMA_MODELS来指定模型下载位置

注意修改上面的地址为自己电脑中的地址

ollama create mygemma:2b -f Modelfile

然后使用

ollama run mygemma:2b

可以正常使用

图片

2.4 运行

如果指定的模型没有下载,运行时会先下载

ollama run qwen:1.8b

使用效果如下,实际生成token的速度非常快

图片

2.5 列出已下载模型

ollama list

2.6 启动服务

macOS下

在macOS上,点击Ollama图标运行程序后,就已经启动服务了,默认监听在11434端口

不过要注意,从点击Ollama图标的方式运行的方式,没有办法设置环境变量,虽然在https://github.com/ollama/ollama/issues/703此处有人给出了解决方案 launchctl setenv OLLAMA_HOST 0.0.0.0:8080,但经过尝试并不生效

Linux下

ollama serve

在Linux下安装成功后,会默认安装为一个服务,系统启动后相当于自动执行了ollama serve,此时可以修改systemd启动单元/etc/systemd/system/ollama.service

注意将下方Environment中的相关路径,替换为自己的路径

[Unit]
Description=Ollama ServiceA
fter=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/home/luogang/.autojump/bin:/opt/anaconda3/bin:/opt/anaconda3/condabin:/home/luogang/.autojump/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/usr/local/cuda-11.8/bin:/usr/local/cuda-11.8/bin"
Environment="OLLAMA_HOST=0.0.0.0"

[Install]
WantedBy=default.target

Environment="OLLAMA_HOST=0.0.0.0"这一行是新增的,编辑完成保存后,执行如下命令
在这里插入图片描述

如果启动状态检查没有报错,说明启动成功,再次使用如下命令检查环境变量是否生效

netstat -an | grep 11434

2.7 REST API

更多API可以参考此处:https://www.postman.com/postman-student-programs/workspace/ollama-api/collection/21521806-f48dc31a-a9f1-4dad-9082-fd07f5cd2fda

2.7.1 列出模型

curl http://localhost:11434/api/tags

2.7.2 查看模型信息

在这里插入图片描述

2.7.3 生成

stream参数非必填,默认为true,下同

在这里插入图片描述

2.7.4 对话

在这里插入图片描述

2.7.5 Embedding

在这里插入图片描述

3 以服务的方式关联前端GUI使用

3.1 Echanted

在Ollama启动后(双击运行或者ollama serve方式),启动Echanted不需要做任何修改,直接可以运行

3.1.1 macOS

图片

3.1.2 iPadOS

iPadOS下支持Ollama的软件比较多,比如Enchanted、OpenCat等,Enchanted完全免费,下面以此为例。

点击左上角的按钮展开侧边栏,然后在最底下的Settings,需要在设置中的OLLAMA下输入Ollama服务地址,比如http://192.168.31.26:11434

图片

要注意,这个地址需要iPad能够访问到,也就意味着Ollama服务启动时需要监听0.0.0.0

图片

3.2 Open WebUI

直接使用Docker启动

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

登录后,需要注册,填写个人信息进行注册即可

进入界面后,在界面顶端可以直接选择已经下载的模型

图片

​

如何学习大模型

现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。

作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。

再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。

因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。

Ollama GUI:本地大模型图形化操作界面部署与使用指南 大语言模型(LLM)作为人工智能领域的核心技术,通过海量数据训练获得强大的自然语言理解和生成能力。其工作原理基于Transformer架构,通过自注意力机制处理序列数据,实现上下文感知的文本生成。这项技术的价值在于能够执行多种语言任务,如问答、翻译和代码生成,而无需针对每个任务单独训练模型。在实际应用中,本地部署大模型成为保护数据隐私和降低使用成本的关键需求。Ollama作为流行的本地大模型管理工具,通过命令行提供模型拉取和运行功能,但操作门槛较高。为此,图形用户界面(GUI)工具应运而生,它通过可视化操作 阅读详情

相关推荐

本地部署免费开源助手Ollama

全方位测评:图像识别、视频分析,打造多模态视觉AI助手!(全面测试并击败“无”),本地跑大模型,需要什么配置,YOLO V10 一键整合包 解压即用 本地视觉识别大模型 一键本地部署 有没有显卡都能玩,小模型的时代终于来了,1.5B参数量模型也能轻松构建GraphRAG,Ollama+Gemma2:9b本地开源大模型输出OpenAI兼容API作为本地翻译引擎工作流|Pot|OpenAI-Translator|沉浸式翻译|喂饭教程,双4090部署qwen72b大模型 每秒150tokens。

乐亦亦乐的博客 5956

Ollama GUI: 为本地大型语言模型打造的优秀Web交互界面

Ollama GUI是一个开源的Web界面,专门为ollama.ai设计。Ollama是一个强大的工具,能够让用户在本地机器上运行大型语言模型。Ollama GUI则在此基础上,通过Ollama API提供了一个友好的用户界面,大大简化了与这些模型交互的过程。Ollama GUI为本地大型语言模型的使用提供了一个简单而强大的解决方案。它不仅让普通用户能够轻松与先进的AI模型进行交互,也为开发者和研究人员提供了一个便捷的测试和实验平台。

Nifc666的博客 2688

运行你自己的AI:使用Ollama和Langchain构建Python聊天机器人

与 联合创作你是否曾因网络问题、API限制或隐私顾虑而无法使用ChatGPT?是否渴望拥有一个无需依赖云端、完全免费的智能助手?如果是,那么点击这篇文章就对了!本指南将手把手教你用Python和本地运行的LLM(大语言模型)从零搭建聊天机器人——无需云端依赖,甚至离线也能运行!

九十分的博客 1412

探秘Ollama GUI:本地大型语言模型的友好界面

探秘Ollama GUI:本地大型语言模型的友好界面 项目地址:https://gitcode.com/gh_mirrors/ol/ollama-gui 项目简介 Ollama GUI 是一个专为 Ollama.ai 设计的网页界面工具,它允许你在自己的电脑上运行大型语言模型(LLMs)。这款应用提供了一个直观易用的交互平台,让你轻松与各种强大的语言模型进行对话。 技术剖析 Ollama GUI...

gitblog_00052的博客 1181

保姆级教程:在Ubuntu 22.04上用Python3.10和pysoem搞定EtherCAT电机回零与位置控制

本文提供在Ubuntu 22.04上使用Python3.10和pysoem实现EtherCAT电机回零与位置控制的详细指南。涵盖环境搭建、权限配置、EtherCAT主站架构解析、CiA402协议核心机制及工业级精度控制实现,帮助开发者快速掌握Python在工业自动化中的应用。

weixin_30952535的博客 330

将Python爬取的数据导入钉钉多维表

摘要:本文介绍将Python爬取的数据导入钉钉多维表的完整解决方案。首先通过requests库爬取数据并解析为结构化格式,然后使用钉钉开放平台API对接多维表。关键步骤包括获取app_key、app_secret等凭证,通过OAuth2获取access_token,以及批量写入记录。文章详细说明了参数获取位置、字段类型匹配、权限配置等注意事项,并提供了错误处理建议和性能优化方法。适用于需要将网络数据同步到钉钉多维表的开发场景。

IT深耕十余载,大道之简 2131

搭建本地大模型神器Ollama:简单操作,效果堪比GPT

开源免费:Ollama是一个不收费的开源工具。即插即用:它提供了预装好的大模型,免除了复杂的安装和下载流程。用户友好:即便没有任何技术背景,Ollama也易于上手和使用。跨平台兼容性:Ollama支持各种设备,包括PC、Mac甚至是树莓派。运行各种规模的模型,保证了出色的扩展性。

2401_85390073的博客 973

3D Slicer肺部CT病灶体积测量:阈值法实操全流程

在医学影像分析中,病灶体积的精准测量是肿瘤评估、疗效随访和科研统计的重要基础。传统逐层手动勾画不仅耗时,且主观差异大,而基于CT值的阈值分割技术,通过设定灰度区间自动提取目标体素,能够快速生成三维分割结果,具有高效、可重复、边界标准统一的优势,尤其适用于肺部实性结节这类与周围肺实质对比度高的病灶。理解体素与CT值的关系,掌握阈值范围的设定逻辑,并配合连通域分析、边缘修正等工程化操作,即可在3D Slicer中稳定获得可靠的体积数据。本文从技术原理出发,系统梳理了DICOM导入、窗宽窗位调节、阈值选择、三维重

weixin_29050271的博客 253

搭建本地大模型,最简单的方法!效果直逼GPT

很多人想在本地电脑上搭建一个大模型聊天机器人。总是觉得离自己有点远,尤其是对ai没有了解的童鞋。那么今天我要和你推荐ollama,无论你是否懂开发,哪怕是零基础,只需十分钟,Ollama工具就可以帮助我们在本地电脑上搭建一个大模型聊天机器人。下面,我会逐步介绍来确保大家顺利完成安装并启动使用。 后续会出专题期详细介绍Ollama的用法。今天主要介绍三点: Ollama简介 Ollama环境配置要求 Ollama下载安装 Ollama本地运行大模型 在跑本地大模型的同时,使用像ChatGPT那样的

m0_52599573的博客 2260

ESP-01S获取网络时间踩坑全记录:AT指令调试、JSON解析乱码、时区处理,一个都不能少

本文详细记录了使用ESP-01S WIFI模块获取网络时间的完整过程,包括AT指令调试、JSON解析乱码处理以及时区转换等关键步骤。通过实战案例和代码示例,帮助开发者避开常见陷阱,实现稳定的网络时间同步功能。

weixin_30460489的博客 295

ETAP实战:如何用仿真软件快速绘制标准一次接线图(附模板下载)

本文提供了一套基于ETAP软件高效绘制标准一次接线图的完整实战工作流。从国标符号库配置、绘图模板创建,到核心设备绘制、参数标注,再到利用软件模型进行拓扑检查与短路电流校核,手把手教你实现从零到一的专业图纸设计。文末附有实用模板下载,助你大幅提升电力设计效率与图纸质量。

weixin_29291573的博客 515

Ollama极简部署:3步搞定本地大模型,效果媲美ChatGPT!

开源免费:Ollama是一个不收费的开源工具。即插即用:它提供了预装好的大模型,免除了复杂的安装和下载流程。用户友好:即便没有任何技术背景,Ollama也易于上手和使用。跨平台兼容性:Ollama支持各种设备,包括PC、Mac甚至是树莓派。运行各种规模的模型,保证了出色的扩展性。

lvaolan的博客 1246

Blender学习笔记——制作向量场

#下载Blender - UE4 - FGA Vector Field Editor插件的压缩包,Github上的下载地址如下:https://github.com/isathar/Blender_UE4_VectorFieldEditor #下载并解压后将FGA VectorFields文件夹复制到C:\Program Files\Blender Foundation\Blender 2.83\2.83\scripts\addons目录下,此步骤可根据blender安装的位置自行调整,只要放入addon

wychao2020的博客 1725

零成本搭建YouTube频道专属聊天机器人:基于RAG的完整实践指南

检索增强生成(RAG)是一种将大语言模型与外部知识库结合的技术范式,其核心原理是通过向量化检索从知识库中获取相关上下文,再交由模型生成精准答案。这种架构的技术价值在于能以极低成本实现知识问答系统,避免了大模型训练的高昂开销和幻觉问题,同时保证了答案的可追溯性。在应用场景上,RAG特别适合处理垂直领域的结构化知识,例如企业文档、技术资料库和多媒体内容。本文以YouTube频道视频内容为切入点,详细展示了如何利用开源工具链构建完整的RAG系统,其中涉及文本分割、向量化存储等关键环节,并提供了基于本地模型和云AP

weixin_30411819的博客 435

2025年06月中国电子学会青少年软件编程(图形化)等级考试试卷(三级)答案 + 解析

2025年06月中国电子学会青少年软件编程(图形化)等级考试试卷(三级)答案 + 解析

伶俐角少儿编程 344

排水模型1:CAD格式的管网数据处理

本文介绍了将CAD排水管网数据转换为GIS格式的技术方法。首先明确了CAD中管段绘制的6项规范要求,包括图层管理、流向表示和节点标识等。其次提出了利用CAD现有属性字段(如图层名、线型比例等)存储管网断面尺寸、上下游标高等关键信息的具体方案。最后详细说明了将CAD数据导入ArcGIS数据库的操作流程,包括创建个人数据库、设置坐标系、筛选导入管段数据等步骤。该方法为排水管网建模提供了标准化的数据预处理方案,为后续节点自动生成等操作奠定了基础。

jinxi1978的博客 587

Ollama| 搭建本地大模型,最简单的方法!效果直逼GPT

开源免费:Ollama是一个不收费的开源工具。即插即用:它提供了预装好的大模型,免除了复杂的安装和下载流程。用户友好:即便没有任何技术背景,Ollama也易于上手和使用。跨平台兼容性:Ollama支持各种设备,包括PC、Mac甚至是树莓派。运行各种规模的模型,保证了出色的扩展性。

python1222_的博客 5476

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

快速构建本地RAG聊天机器人:使用LangFlow和Ollama实现无代码开发

在这个项目中,我们将构建一个人工智能聊天机器人,并命名为“Dinnerly——您的健康食谱规划师”。它的目标是借助检索增强生成(RAG)技术,从一个食谱PDF文件中推荐健康的菜肴配方。在深入了解如何实现这一目标之前,让我们快速浏览一下项目中将要使用的关键组件。

python123456_的博客 3302

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

30分钟零基础搭建AI聊天机器人:ollama-python实战教程

你还在为构建AI聊天机器人需要复杂配置而烦恼吗?本文将带你零基础上手,通过ollama-python库在30分钟内完成一个功能完备的AI聊天机器人。读完本文你将掌握:基础聊天功能实现、对话历史记录、流式响应交互,以及如何处理常见错误。 ## 准备工作 ### 环境要求 - 已安装[Ollama](https://ollama.com/download)并运行 - 拉取模型:`ollama pu...

gitblog_00327的博客 1049

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

deepseek+dify搭建知识库和个人聊天机器人

最近研究了一下Dify这个AI应用引擎,感觉功能还是很强大的,特别是流程编排、RAG检索、模型管理、知识库维护等,内置了各种国内外的厂商模型,可以根据自己的业务需求来选择模型进行处理,而且模型可以借助Ollama来私有化部署,不过自己电脑配置不够搭建出来的deepseek不够智能,直接使用线上的deepseek也不贵,体验更好。(2)非必须C盘大的可以跳过,修改模型下载路径因为Ollama默认下载模型的路径是在C盘,如果模型太大,放到C盘也是不合适的,所以我们需要修改一下下载模型的目录。

qq_36221620的博客 2217

简单三步,带你用个人电脑上搭建一个本地聊天机器人

本节开始用 Ollama 搭建一个用于本地大模型研发的聊天助手,首先需要搭建本地所需的软件环境。我所用的是 Windows 环境,其他环境的安装也很简单,大家可以去网上搜索教程或者直接问 AI。

2401_82469710的博客 818

基于ollama和streamlit手把手搭建聊天机器人(上)--linux环境部署ollama

基于ollama和streamlit手把手搭建聊天机器人(上)--linux环境部署ollama

huang9604的博客 1147

基于ollama和streamlit手把手搭建聊天机器人(下)-- 智能客服机器人

上一篇文章我们本地部署了ollama,并使用ollama运行了大模型;这篇文章我将手把手带大家搭建一个属于我们个人的聊天机器人--"Sao粉"; 那我们就开始吧!

huang9604的博客 814
上一篇: 使用 Ollama 本地运行各种 LLM
下一篇: Ollama 如何排除故障
爱喝白开水a
博客等级 码龄3年 6793粉丝 763原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值