Linux 部署docker+open-webui实践

用docker安装openWeb-UI,配合本地部署的deepseek使用 重启后点击安装完成的docker,对docker进行配置,点击设置,再点击Docker Engine,配置镜像加速,因为默认的docker使用的是国外的网站进行的加速,需要改为国内的镜像源,拉取镜像时会快一点。接上文,使用网页中安装的扩展就可以运行我们部署在本地的deepseek模型,但是在实际应用中,更倾向于本地化的操作,此时便需要一个能够本地部署的前端UI界面,我们选择比较流行的openWeb-UI来实现。不到长城非好汉,屈指行程二万。运行刚才下载完成的安装包,根据提示安装,安装完成后重启。 阅读详情
AI摘要

因本地常见笔记本和台式电脑配置低,运行开源大语言模型不顺畅,作者拟通过内网Linux服务器部署。文章记录部署全过程,包括在Centos7上部署Docker,以及下载、传入、解压、编译和创建软连接来安装Python3.11及pip。

一、背景

本地部署开源大语言模型,苦于常见笔记本和台式电脑的配置较低,运行不顺畅问题,因此拟通过内网Linux服务器来部署。本篇文章将全程记录部署全过程。供志同之士相互学习参考。

二、Centos7部署Docker

下载你想要的Docker版本,通过WinSCP传入内网服务器。具体部署操作如下:

# 将Docker放入指定文件夹并进行解压
tar -zxvf docker-20.10.10.taz(这里是你的docker安装包的名字)

# 解压之后将docker全部文件拷贝到根目录下的/usr/bin目录下
sudo cp -p docker/* /usr/bin

# 创建docker.service文件,实现开机自启动
touch docker.service

# 将以下内容粘贴到docker.service中
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
[Service]
Type=notify
# the default is not to use systemd for cgroups because the delegate issues still
# exists and systemd currently does not support the cgroup feature set required
# for containers run by docker
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
# Having non-zero Limit*s causes performance problems due to accounting overhead
# in the kernel. We recommend using cgroups to do container-local accounting.
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
# Uncomment TasksMax if your systemd version supports it.
# Only systemd 226 and above support this version.
#TasksMax=infinity
TimeoutStartSec=0
# set delegate yes so that systemd does not reset the cgroups of docker containers
Delegate=yes
# kill only the docker process, not all processes in the cgroup
KillMode=process
# restart the docker process if it exits prematurely
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target

# 把docker.service拷贝到根目录下的 /etc/systemd/system/ 目录
sudo cp docker.service /etc/systemd/system/ 

# 对docker.service设置权限
sudo chmod +x /etc/systemd/system/docker.service

# 重新加载某个服务的配置文件
sudo systemctl daemon-reload

# 启动docker
sudo systemctl start docker

# 查看是否安装成功
sudo docker --version

三、安装Python(含pip)

1、下载Python的Linux 版本,open-webui要求Python3.11.*版本。(下载Linux版本下的ollama实在太慢了,我只能多路径尝试。)

# 下载地址,选择tar.xz版本的安装包进行下载
https://www.python.org/ftp/python/3.11.3/

2、使用WinSCP连接Linux服务器,将以上安装包传入/usr/python3目录(自定义)

# 在根目录下新建一个usr/python3
mkdir /urs/python3/

3、解压、编译、创建软连接

# 进入目录
cd /usr/python3

# 解压,解压的python包是你自己的安装包名字
xz -d Python-3.11.*.tar.xz
tar -xvf Python-3.11.*.tar


# 进入解压并指明安装的Python路径
cd Python-3.11.*
./configure --prefix=/usr/local/python

#注意:需要执行命令,避免pip3 install 的时候报错没有ssl模块,其实python下面是有的,没有的话先安装:
1  yum install -y openssl-devel
2  ./configure --with-ssl

# 备注:也可直接用以下方式解决:
pip install open-webui -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com

# 编译安装
make && make install

# 软连接,便于直接用python3和pip3访问(centos7自带python2)
ln -s /usr/local/python/bin/python3.11 /usr/bin/python3
ln -s /usr/local//python/bin/pip3.11 /usr/bin/pip3

# 检测安装情况
python3 -V
pip3 -V

四、未完待续... 

Docker离线部署OpenWebUI操作步骤 docker离线部署openwebui 阅读详情

相关推荐

Linux服务器部署大模型实战:从Ollama到Open WebUI

大语言模型推理服务的基础是理解硬件资源与模型参数量之间的关系,显存大小直接决定可部署模型的规模。通过量化技术,可以在有限显存下运行更大参数量的模型,这是模型部署的核心原理。在工程实践中,Ollama等工具简化了模型拉取和API服务搭建流程,Docker容器化则保证了环境的一致性和可迁移性。结合Open WebUI可视化前端,可以快速构建出类似ChatGPT的交互界面,广泛应用于团队内部知识问答、代码生成等场景。本文基于Linux服务器环境,围绕DeepSeek系列模型,完整梳理了从硬件检测、工具选型到服务部

weixin_33524659的博客 295

Docker下Open WebUI,Ollama的安装实践

Docker下Open WebUI,Ollama的安装实践

Anakki的博客 4万+

高效使用Ollama:Linux环境下结合Open WebUI的完整配置指南

本文提供了在Linux环境下高效使用Ollama并结合Open WebUI的完整配置指南。从基础服务配置、环境优化到WebUI集成,详细介绍了如何提升Ollama的性能和可用性,特别适合开发者打造稳定高效的AI工作环境。

weixin_30566063的博客 429

docker安装Open WebUI详解-遇到的坑OSError: We couldn‘t connect to ‘https://huggingface.co‘ to load this file

docker安装Open WebUI详解-遇到的坑 OSError: We couldn't connect to 'https://huggingface.co' to load this file

g470641382的博客 2万+

本地大模型部署实战:Ollama+Open WebUI+Docker全链路打通

本地大模型部署本质是构建稳定、低延迟的AI服务链路,其核心在于容器化运行时环境(Docker)与模型服务协议(Ollama API)的可靠协同。原理上依赖服务发现、网络穿透与权限隔离三大机制,技术价值体现在跨平台一致性、热加载能力与生产级可观测性。典型应用场景包括教育课件生成、制造业知识库和法律合同分析等边缘智能需求。本文聚焦真实环境下的系统级摩擦点——如WSL2内核兼容性、Docker用户组权限继承、Ollama与Open WebUI间API绑定逻辑,提供可复用的docker-compose配置、镜像源加

weixin_34005090的博客 392

DeepSeek本地极简部署指南:Ollama+Open WebUI零基础实战

大模型本地化部署,本质是让AI在个人设备上稳定可用。其核心原理在于运行时封装(如Ollama)与人机交互层(如Open WebUI)的协同优化,通过量化模型、硬件自适应调度和标准化API,显著降低GPU显存与系统环境门槛。技术价值体现在数据隐私保障、离线可用性及低延迟响应,广泛适用于高校科研、企业内网办公、自由职业者内容生成等场景。本文聚焦DeepSeek系列模型(如deepseek-v4-pro、deepseek-r1)在主流Windows/macOS平台的极简落地,深度融合Ollama模型管理与Open

weixin_33702545的博客 312

1Panel与Open WebUI:零基础部署AI操作平台

Docker容器技术通过轻量级虚拟化实现了应用快速部署与隔离,其核心原理是利用Linux内核的cgroups和namespace机制。在AI应用领域,容器化部署能显著降低环境配置复杂度,特别是对于大语言模型等需要特定依赖的应用。Open WebUI作为基于Ollama的AI模型可视化工具,结合1Panel这类开源运维面板,使得用户无需掌握Linux命令即可实现从模型下载到API调用的全流程管理。这种组合方案特别适合需要快速搭建本地AI开发环境的中小团队,也降低了个人开发者体验最新AI技术的门槛。通过容器编排

weixin_30824599的博客 269

Docker+Ollama+Open WebUI本地大模型部署实战

大语言模型(LLM)本地化部署是当前企业数据安全与AI工程落地的关键路径。其核心原理在于通过容器化运行时(如Docker)封装模型推理服务(Ollama)与交互界面(Open WebUI),实现离线可控、低延迟、可审计的私有化AI能力。该方案显著提升数据主权保障能力,规避公有云API带来的隐私泄露与网络依赖风险,广泛适用于医疗文档处理、法律合同分析、内部知识库问答等强合规场景。本文聚焦Windows/Linux跨平台一键部署,深度融合Ollama模型管理与Open WebUI生产级功能,提供真实国内网络环境

weixin_32705179的博客 351

从零到一:Ollama与WebUI的本地大模型部署实战与避坑指南

本文详细介绍了如何从零开始使用Ollama与WebUI进行本地大模型部署,涵盖环境准备、模型选择、性能优化等关键步骤。通过跨平台安装指南和实用避坑技巧,帮助开发者高效搭建定制化AI解决方案,特别适合注重数据隐私和定制需求的用户。

spark7igniter的博客 93

Docker部署Open WebUI+Ollama全指南:Windows与Linux双平台本地大模型实战

本地大模型部署是AI工程落地的关键环节,其核心在于绕过操作系统差异、实现环境一致性与GPU加速可控性。Docker通过容器化封装,将Open WebUI与Ollama组合抽象为标准化运行单元,屏蔽Windows(WSL2)与Linux在内核、驱动、网络栈上的底层异构性;结合镜像加速、host网络模式、GGUF量化模型加载及数据卷持久化等关键技术,显著提升部署稳定性与推理效率。尤其对国内用户,镜像源配置与分层预热可将拉取失败率从37%压降至0.2%,保障Qwen2-7B等主流模型在RTX4090等显卡上稳定启

weixin_29698641的博客 312

MacOS/Linux双平台实测:Ollama一键部署通义千问1.5B模型避坑指南

本文提供了一份详尽的MacOS与Linux双平台实测指南,旨在帮助开发者通过Ollama工具一键部署通义千问1.5B模型。文章重点解决了网络下载、脚本修改、模型拉取及WEB UI配置等常见痛点,提供了具体的避坑步骤和优化技巧,确保用户能在本地顺畅运行并管理这一轻量级大语言模型。

weixin_29280219的博客 536

本地部署LLaMA-3大模型:Docker+Ollama+Open WebUI完整实践指南

容器化技术通过Docker实现环境隔离与依赖管理,为复杂应用部署提供了标准化解决方案。其核心原理是将应用及其运行环境打包成轻量级容器,确保在不同系统间的一致性和可移植性。在机器学习领域,这一技术价值尤为突出,它能有效解决Python版本、CUDA驱动等依赖冲突问题,大幅降低部署门槛。基于容器化理念,Ollama进一步封装了大语言模型的下载、加载和推理流程,提供统一的API接口,让开发者无需深入底层细节即可快速部署模型服务。结合Open WebUI提供的现代化交互界面,这套技术栈形成了完整的本地大模型解决方案

weixin_29268331的博客 330

Ollama本地大模型部署实战:从安装到WebUI搭建

本文详细介绍了Ollama本地大模型部署的完整流程,从安装配置、模型获取到WebUI搭建。Ollama极大降低了本地运行大模型的门槛,支持一键拉取Llama、Qwen等热门模型,并可通过Docker快速部署带图形界面的Open WebUI。重点讲解了Windows/Linux/macOS系统的安装要点、自定义模型导入方法以及性能优化技巧,帮助用户快速构建私密、可控的本地AI助手。

weixin_29052717的博客 217

Ollama 可视化部署指南:Open WebUI 与 Docker 编排实战

大模型本地部署中,Ollama 提供了便捷的模型运行能力,但命令行交互在对话管理、多用户共享和知识库集成上存在局限。通过 Docker 容器化技术,可将 Ollama 的 API 与自托管 Web 前端结合,实现类似 ChatGPT 的图形化界面。这种方案支持对话持久化、模型热切换、RAG 知识库和多用户权限控制,适用于个人开发调试、团队私有化 AI 入口等场景。本文围绕 Open WebUI 与 Ollama 的 Docker 编排,详解从环境准备、容器网络配置到模型拉取和性能调优的完整链路,帮助开发者快

weixin_31102231的博客 233

【人工智能】Open WebUI 安装指南 ( 基于Docker下载和使用Open WebUI 、通过本地运行项目源码进行搭建Open WebUI)

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 WebUI,旨在完全离线操作。它支持各种 LLM 运行程序,包括 Ollama 和 OpenAI 兼容的 API。社区:https://openwebui.com/

奶爸的编程之路,也就一周冷个三天 2万+

DeepSeek本地部署全攻略:Ollama、移动端与Open WebUI

大模型本地化部署是数据隐私保护和离线推理的重要实践。其核心原理在于利用量化技术将模型权重压缩,使得7B级对话模型可在消费级硬件上流畅运行。Ollama作为轻量级模型运行时,整合了模型下载、推理调度与API服务,只需一条命令即可完成DeepSeek等模型的本地拉起。结合Open WebUI等图形化前端,开发者能快速构建具有对话界面的私有化服务,并将模型能力开放给团队使用。在移动端场景中,iPhone可通过API网关远程调用本地推理实例,Android设备则可通过Termux编译原生Ollama程序,实现真正离

weixin_29054245的博客 314

Ollama 在 Linux 上的完整安装与使用指南:从零部署到熟练运行大语言模型

本文详细介绍了在Linux系统上安装和使用Ollama大语言模型平台的完整指南。主要内容包括:安装前的系统要求检查、两种安装方式(自动脚本安装和手动定制安装)、基本使用方法(模型下载运行和管理)、以及进阶应用(REST API调用、Python集成、Docker部署和Web图形界面)。文章还提供了常见问题解决方案和性能优化建议,帮助用户从零开始搭建本地大模型平台,适用于不同技术水平的开发者。

独坐一隅,凝神遐想,是种幸福! —— 独隅 1746

DeepSeek本地部署全指南:Ollama选型、量化与Open WebUI搭建

大模型并非只能依赖云端API,本地部署正成为数据隐私保护和定制化应用的重要路径。其核心原理在于通过模型量化技术(如q4_k_m)压缩权重体积,同时匹配显存容量与上下文窗口,再利用Ollama这样的运行时管理器封装推理服务,从而在普通硬件上获得可用的生成能力。这种方案的技术价值显而易见:降低使用成本、消除网络延迟、保证数据不出内网。无论是开发者的离线调试、企业内网的知识助手,还是个人电脑上的实验性应用,都能从中受益。当理解了量化、显存和上下文这三者的关系后,再借助Docker容器化Open WebUI,就能把

weixin_32830601的博客 36
上一篇: python实现对比两个相同列数据中的差异并另存标黄
pathconquer
博客等级 码龄9年 333粉丝 33原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值