详细!离线部署大模型:ollama+deepseek+open-webui安装使用方法及常见问题解决

【三步 完全离线搭建 openwebui 】 完全离线linux 版open webui 的搭建。 阅读详情
AI摘要

本文详细介绍了如何在本地环境中部署和使用ollama框架,包括安装步骤、模型下载与运行、常见问题解决方法以及集成可视化工具open-webui的示例。内容涵盖了从硬件要求到API服务设置,再到如何通过第三方工具实现模型的离线下载和导入,以及如何保护API服务安全。此外,还提供了学习大模型技术的路线图和实战案例,帮助读者系统掌握AI大模型技术。

ollama 是一个开源的本地大语言模型运行框架,它提供了非常简单便捷的使用形式,让用户可以十分方便的在本地机器上部署和运行大型语言模型,从而实现免费离线的方式使用 LLM 能力,并确保私有数据的隐私和安全性。

1 ollama 安装

ollama 支持多种操作系统,包括 macOS、Windows、Linux 以及通过 Docker 容器运行。其安装、使用及模型下载非常简单,可以简单概括为以下几步:

  • • 下载 ollama 安装程序并安装。
  • • 启动 ollama,执行命令下载和运行模型。如:ollama run deepseek-r1:1.5b
  • • 以命令行交互、API 调用、第三方应用接入等形式使用其服务。

1.1 硬件要求

ollama 本身对硬件要求并不高,主要取决于运行模型的要求。基本建议:

你应该至少有 4 GB 的 RAM 来运行 1.5B 模型,至少有 8 GB 的 RAM 来运行 7B 模型,16 GB 的 RAM 来运行 13B 模型,以及 32 GB 的 RAM 来运行 33B 模型。

假若需要本地私有化部署具有实用性的模型,应至少有独立显卡并有 4G 以上显存。纯 CPU 模式虽然也可以运行,但生成速度很慢,仅适用于本地开发调试体验一下。

本人实测在Mac Studio 2023 版(Apple M2 Max 芯片:12核、32G内存、30核显、1TB SSD)上,运行 deepseek:1.5b 模型响应非常快,可以较为流畅的运行 deepseek-r1:32b 及以下的模型。

DeepSeek-r1 相关版本及大小参考:

参数版本模型大小建议CPU建议内存建议显存特点
deepseek-r1:1.5b1.1GB4核4~8G4GB轻量级,速度快、普通文本处理
deepseek-r1:7b4.7G8核16G14GB性能较好,硬件要求适中
deepseek-r1:8b4.9GB8核16G14GB略强于 7b,精度更高
deepseek-r1:14b9GB12核32G26GB高性能,擅长复杂任务,如数学推理、代码生成
deepseek-r1:32b20GB16核64G48GB专业级,适合高精度任务
deepseek-r1:70b43GB32核128G140GB顶级模型,适合大规模计算和高复杂度任务
deepseek-r1:671b404GB64核512G1342GB超大规模,性能卓越,推理速度快

1.2 Windows \ macOS \ Linux 下安装 ollama

Windows 和 macOS 用户可访问如下地址下载安装文件并安装:

  • • 国内中文站下载:http://ollama.org.cn/download/
  • • 官方下载:https://ollama.com/download/
  • • github release 下载:https://github.com/ollama/ollama/releases/

Linux 用户可以执行如下命令一键安装:

curl -fsSL https://ollama.com/install.sh | bash

安装完成后,可以通过执行 ollama --version 命令查看 ollama 版本信息,以验证是否安装成功。

ollama 离线安装:

Windows 和 macOS 下直接复制安装文件到本地本进行安装即可。

Linux 下的离线安装主要步骤参考如下:

mkdir -p /home/ollama
cd /home/ollama

# 查看服务器 CPU 信息获取其架构,如:x86_64
lscpu

# 访问如下地址,下载对应架构的 ollama 安装包
# https://github.com/ollama/ollama/releases/
# - x86_64 CPU 选择下载 ollama-linux-amd64
# - aarch64|arm64 CPU 选择下载 ollama-linux-arm64
# 示例:
wget https://github.com/ollama/ollama/releases/download/v0.5.11/ollama-linux-amd64.tgz

# 下载 安装脚本,并放到 /home/ollama 目录下
wget https://ollama.com/install.sh

# 将 ollama-linux-amd64.tgz 和 install.sh 拷贝到需要安装的机器上,如放到 /home/ollama 目录下
# 然后执行如下命令:
tar -zxvf ollama-linux-amd64.tgz
chmod +x install.sh
# 编辑 install.sh 文件,找到如下内容
curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"
# 注释它,并在其下增加如下内容:
cp ./ollama-linux-amd64 $TEMP_DIR/ollama

# 执行安装脚本
./install.sh

# 模型的离线下载请参考下文模型导入部分

1.3 基于 Docker 安装 ollama

基于 Docker 可以使得 ollama 的安装、更新与启停管理更为便捷。

首先确保已安装了 docker,然后执行如下命令:

# 拉取镜像
docker pull ollama/ollama

# 运行容器:CPU 模式
docker run -d -p 11434:11434 -v /data/ollama:/root/.ollama --name ollama ollama/ollama
# 运行容器:GPU 模式
docker run --gpus=all -d -p 11434:11434 -v /data/ollama:/root/.ollama --name ollama ollama/ollama

# 进入容器 bash 下并下载模型
docker exec -it ollama /bin/bash
# 下载一个模型
ollama pull deepseek-r1:8b

也可以基于 docker-compose 进行启停管理。docker-compose.yml 参考:

services:
  ollama:
    image:ollama/ollama
    container_name:ollama
    restart:unless-stopped
    ports:
      -11434:11434
    volumes:
      -/data/ollama:/root/.ollama
    environment:
        # 允许局域网跨域形式访问API
        OLLAMA_HOST=0.0.0.0:11434
        OLLAMA_ORIGINS=*

1.4 修改 ollama 模型默认保存位置

ollama 下载的模型默认的存储目录如下:

  • • macOS: ~/.ollama/models
  • • Linux: /usr/share/ollama/.ollama/models
  • • Windows: C:\Users\\.ollama\models

若默认位置存在磁盘空间告急的问题,可以通过设置环境变量 OLLAMA_MODELS 修改模型存储位置。示例:

# macOS / Linux:写入环境变量配置到 ~/.bashrc 文件中
echo 'export OLLAMA_MODELS=/data/ollama/models' >> ~/.bashrc
source ~/.bashrc

# Windows:按 `WIN+R` 组合键并输入 cmd 打开命令提示符
# 然后执行如下命令写入到系统环境变量中
setx OLLAMA_MODELS D:\data\ollama\models

如果已经下载过模型,可以从上述默认位置将 models 目录移动到新的位置。

对于 docker 安装模式,则可以通过挂载卷的方式修改模型存储位置。

1.5 使用:基于 API 形式访问 ollama 服务

ollama 安装完成并正常启动后,可以通过命令行形式运行模型(如:ollama run deepseek-r1:1.5b),并通过命令行交互的方式进行测试。

此外也可以通过访问 http://localhost:11434 以 API 调用的形式调用。示例:

curl http://localhost:11434/api/generate -d '{
  "model": "deepseek-r1:8b",
  "stream": false,
  "prompt": "你是谁"
}'

ollama API 文档参考:

  • • https://ollama.readthedocs.io/api/
  • • https://github.com/ollama/ollama/blob/main/docs/api.md

2 使用 ollama 下载和运行模型

2.1 使用 ollama 命令行下载和运行模型

执行如下命令下载并运行一个模型:

# 基本格式为:
ollama run <model_name:size>

# 例如下载并运行 deepseek-r1 的 1.5b 模型
# 如果下载模型速度开始较快后面变慢,可以 kill 当前进程并重新执行
ollama run deepseek-r1:1.5b

运行成功则会进入命令行交互模式,可以直接输入问题并获得应答反馈,也可以通过 API 调用方式测试和使用。

从如下地址可搜索 ollama 所有支持的模型:

  • • 中文站:https://ollama.org.cn/search
  • • 官方站:https://ollama.com/search

从 HF 和魔塔社区下载模型

ollama 还支持从 HF 和魔塔社区下载第三方开源模型。基本格式为:

# 从 HF(https://huggingface.co) 下载模型的格式
ollama run hf.co/{username}/{reponame}:latest
# 示例:
ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:Q8_0

# 从魔塔社区(https://modelscope.cn)下载模型的格式
ollama run modelscope.cn/{username}/{model}
# 示例:
ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF:Q3_K_M

2.2 使用 ollama create 导入本地模型

通过 ollama run 和 ollama pull 命令均是从官方地址下载模型,可能会遇到下载速度慢、下载失败等问题。

ollama 支持从本地导入模型。我们可以从第三方下载模型文件并使用 ollama create 命令导入到 ollama 中。

例如,假若我们下载了 deepseek-r1:8b 模型文件,并保存在 /data/ollama/gguf/deepseek-r1-8b.gguf,则可执行如下命令进行导入:

cd /data/ollama/gguf
echo "From ./deepeek-r1-8b.gguf" > modelfile-deepseek-r1-8b
ollama create deepseek-r1:8b -f modelfile-deepseek-r1-8b

# 查看模型信息
ollama list
ollama show deepseek-r1:8b

# 运行模型(以命令行交互模式使用)
ollama run deepseek-r1:8b

相关文档参考:

  • • https://ollama.readthedocs.io/import/
  • • https://ollama.readthedocs.io/modelfile/

3 ollama 常用命令参考

ollama 提供了丰富的命令行工具,方便用户对模型进行管理。

  • • ollama --help:查看帮助信息。
  • • ollama serve:启动 ollama 服务。
  • • ollama create [-f Modelfile]:根据一个 Modelfile 文件导入模型。
  • • ollama show :显示某个模型的详细信息。
  • • ollama run :运行一个模型。若模型不存在会先拉取它。
  • • ollama stop :停止一个正在运行的模型。
  • • ollama pull :拉取指定的模型。
  • • ollama push :将一个模型推送到远程模型仓库。
  • • ollama list:列出所有模型。
  • • ollama ps:列出所有正在运行的模型。
  • • ollama cp :复制一个模型。
  • • ollama rm :删除一个模型。

4 ollama 安装使用常见问题及解决

4.1 ollama 模型下载慢:离线下载与安装模型

通过 ollama 官方命令拉取模型,可能会遇到网速慢、下载时间过长等问题。

4.1.1 开始快后来慢:间隔性重启下载

由于模型文件较大,下载过程中可能会遇到开始网速还可以,后面变慢的情况。许多网友反馈退出然后重试则速度就可以上来了,所以可以尝试通过每隔一段时间退出并重新执行的方式以保持较快的下载速率。

以下是基于该逻辑实现的下载脚本,注意将其中的 deepseek-r1:7b 替换为你希望下载的模型版本。

Windows 下在 powershell 中执行:

while ($true) {
    $modelExists = ollama list | Select-String "deepseek-r1:7b"

    if ($modelExists) {
        Write-Host "模型已下载完成!"
        break
    }

    Write-Host "开始下载模型..."
    $process = Start-Process -FilePath "ollama" -ArgumentList "run", "deepseek-r1:7b" -PassThru -NoNewWindow

    # 等待60秒
    Start-Sleep -Seconds 60

    try {
        Stop-Process -Id $process.Id -Force -ErrorAction Stop
        Write-Host "已中断本次下载,准备重新尝试..."
    }
    catch {
        Write-Host "error"
    }
}

macOS / Linux 下在终端中执行:

#!/bin/bash

whiletrue; do
    # 检查模型是否已下载完成
    modelExists=$(ollama list | grep "deepseek-r1:7b")

    if [ -n "$modelExists" ]; then
        echo"模型已下载完成!"
        break
    fi

    # 启动ollama进程并记录
    echo"开始下载模型..."
    ollama run deepseek-r1:7b &  # 在后台启动进程
    processId=$!  # 获取最近启动的后台进程的PID

    # 等待60秒
    sleep 60

    # 尝试终止进程
    ifkill -0 $processId 2>/dev/null; then
        kill -9 $processId# 强制终止进程
        echo"已中断本次下载,准备重新尝试..."
    else
        echo"进程已结束,无需中断"
    fi
done
4.1.2 通过网盘等第三方离线下载并导入 ollama 模型

可以通过国内的第三方离线下载模型文件,再导入到 ollama 中。详细参考 2.2 章节。

deepseek-r1 相关模型夸克网盘下载:

链接:https://pan.quark.cn/s/7fa235cc64ef 提取码:wasX

也可以从 魔塔社区、HuggingFace 等大模型社区搜索并下载 stuff 格式的模型文件。例如:

  • • https://modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/files
  • • https://huggingface.co/unsloth/DeepSeek-R1-GGUF
4.1.3 从国内大模型提供站下载模型

ollama 支持从魔塔社区直接下载模型。其基本格式为:

ollama run modelscope.cn/{model-id}

一个模型仓库可能包含多个模型,可以指定到具体的模型文件名以只下载它。示例:

ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF
#
ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF:qwen2.5-3b-instruct-q3_k_m.gguf

下载 deepseek-r1 模型命令参考:

# deepseek-r1:7b
ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF:DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
# deepseek-r1:14b
ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF:Q4_K_M
# deepseek-r1:32b
ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF:Q4_K_M

此外,也可以从 HF 的国内镜像站(https://hf-mirror.com)查找和拉取模型,方法与上述类似:

# 基本格式
ollama run hf-mirror.com/{username}/{reponame}:{label}

# 示例 - 拉取 deepseek-r1:7b
ollama run hf-mirror.com/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF:Q4_K_M

4.2 ollama 服务设置允许局域网访问

默认情况下 API 服务仅允许本机访问,若需要允许局域网其他设备直接访问,可修改环境变量 OLLAMA_HOST 为 0.0.0.0,并修改 OLLAMA_ORIGINS 为允许的域名或 IP 地址。

环境变量设置示例:

# windows 命令提示符下执行:
setx OLLAMA_HOST 0.0.0.0:11434
setx OLLAMA_ORIGINS *

# macOS 终端下执行:
launchctl setenv OLLAMA_HOST "0.0.0.0:11434"
launchctl setenv OLLAMA_ORIGINS "*"

特别注意:

  • • 如果你是在云服务器等拥有公网IP的环境上部署,请谨慎做此设置,否则可能导致 API 服务被恶意调用。
  • • 若需要局域网其他设备访问,请确保防火墙等安全设置允许 11434 端口访问。
  • • 若需要自定义访问端口号,可通过环境变量 OLLAMA_HOST 设置,如:OLLAMA_HOST=0.0.0.0:11435。

4.3 为 ollama API 服务访问增加 API KEY 保护

为云服务器部署的服务增加 API KEY 以保护服务
如果你是通过云服务器部署,那么需要特别注意服务安全,避免被互联网工具扫描而泄露,导致资源被第三方利用。

可以通过部署 nginx 并设置代理转发,以增加 API KEY 以保护服务,同时需要屏蔽对 11434 端口的互联网直接访问形式。

nginx 配置:

server {
    # 用于公网访问的端口
    listen 8434;
    # 域名绑定,若无域名可移除
    server_name your_domain.com;

    location / {
        # 验证 API KEY。这里的 your_api_key 应随便修改为你希望设置的内容
        # 可通过 uuid 生成器工具随机生成一个:https://tool.lzw.me/uuid-generator
        if ($http_authorization != "Bearer your_api_key") {
            return 403;
        }

        # 代理转发到 ollama 的 11434 端口
        proxy_pass http://localhost:11434;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
}

5 集成可视化工具

在部署了 ollama 并拉取了 deepseek 等模型后,即可通过命令行交互和 API 服务方式使用,但使用起来并不方便。

开源社区中有许多大模型相关的可视化工具,如 open-webui、chat-ui、cherry-studio、AnythingLLM 等,可以方便地集成 ollama API 服务,提供图形化界面使用,以实现聊天机器人、问答知识库等多元化应用。在官方文档中列举了大量较为流行的工具应用:https://ollama.readthedocs.io/quickstart/#web

我们后续会选择其中较为典型的工具进行集成和介绍。

5.1 示例:基于 docker 部署 open-webui 并配置集成 ollama 服务

Open WebUI 是一个开源的大语言模型项目,通过部署它可以得到一个纯本地运行的基于浏览器访问的 Web 服务。它提供了可扩展、功能丰富、用户友好的自托管 AI Web 界面,支持各种大型语言模型(LLM)运行器,可以通过配置形式便捷的集成 ollama、OpenAI 等提供的 API。

通过 Open WebUI 可以实现聊天机器人、本地知识库、图像生成等丰富的大模型应用功能。

在开始之前,请确保你的系统已经安装了 docker。

接着拉取大语言模型 deepseek-r1:8b 和用于 RAG 构建本地知识库的嵌入模型 bge-m3:

ollama pull deepseek-r1:8b
ollama pull bge-m3

然后新建文件 docker-compose.yml,内容参考:

services:
  open-webui:
    image:ghcr.io/open-webui/open-webui:main
    environment:
      -OLLAMA_API_BASE_URL=http://ollama:11434/api
      -HF_ENDPOINT=https://hf-mirror.com
      -WEBUI_NAME="LZW的LLM服务"
      # 禁用 OPENAI API 的请求。若你的网络环境无法访问 openai,请务必设置该项为 false
      # 否则在登录成功时,会因为同时请求了 openai 接口而导致白屏时间过长
      -ENABLE_OPENAI_API=false
      # 设置允许跨域请求服务的域名。* 表示允许所有域名
      -CORS_ALLOW_ORIGIN=*
      # 开启图片生成
      -ENABLE_IMAGE_GENERATION=true
      # 默认模型
      -DEFAULT_MODELS=deepseek-r1:8b
      # RAG 构建本地知识库使用的默认嵌入域名
      -RAG_EMBEDDING_MODEL=bge-m3
    ports:
      -8080:8080
    volumes:
      -./open_webui_data:/app/backend/data
    extra_hosts:
      # - host.docker.internal:host-gateway

这里需注意 environment 环境变量部分的自定义设置。许多设置也可以通过登录后在 web 界面进行修改。

在该目录下执行该命令以启动服务:docker-compose up -d。成功后即可通过浏览器访问:http://localhost:8080。

服务镜像更新参考:

# 拉取新镜像
docker-compose pull
# 重启服务
docker-compose up -d --remove-orphans
# 清理镜像
docker image prune
  • • open-webui 详细文档参考:https://docs.openwebui.com/getting-started/env-configuration

可选:开启“联网搜索”功能

操作路径:设置 - 联网搜索 - 启用联网搜索

当前已支持接入的联网搜索引擎中,在不需要魔法上网的情况下,有 bing 和 bocha 可以选择接入。基本只需要前往注册并获取 API KEY 回填到这里即可。如果需要保护隐私数据,请不要开启并配置该功能。

  • • 博查文档:https://aq6ky2b8nql.feishu.cn/wiki/XgeXwsn7oiDEC0kH6O3cUKtknSR

总结与参考

通过以上内容,我们了解了 ollama 在国内环境下的安装使用方法,并介绍了因为国内网络特色导致安装过程可能会遇到的常见问题及解决办法。希望这些内容对你有所帮助,如果你有任何问题或建议,欢迎在评论区留言交流。

  • • ollama 官方站:https://ollama.com
  • • ollama 中文站:https://ollama.org.cn
  • • ollama 入门:https://ollama.readthedocs.io/quickstart/
  • • ollama 常见问题:https://ollama.readthedocs.io/faq/
  • • 魔塔社区:https://modelscope.cn
  • • HF Mirror:https://hf-mirror.com
  • • open-webui 文档:https://docs.openwebui.com

DeepSeek无疑是2025开年AI圈的一匹黑马,在一众AI大模型中,DeepSeek以低价高性能的优势脱颖而出。DeepSeek的上线实现了AI界的又一大突破,各大科技巨头都火速出手,争先抢占DeepSeek大模型的流量风口。

DeepSeek的爆火,远不止于此。它是一场属于每个人的科技革命,一次打破界限的机会,一次让普通人也能逆袭契机。

DeepSeek的优点

read-normal-img

掌握DeepSeek对于转行大模型领域的人来说是一个很大的优势,目前懂得大模型技术方面的人才很稀缺,而DeepSeek就是一个突破口。现在越来越多的人才都想往大模型方向转行,对于想要转行创业,提升自我的人来说是一个不可多得的机会。

那么应该如何学习大模型

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。

大模型岗位需求越来越大,但是相关岗位人才难求,薪资持续走高,AI运营薪资平均值约18457元,AI工程师薪资平均值约37336元,大模型算法薪资平均值约39607元。

read-normal-img

掌握大模型技术你还能拥有更多可能性:

• 成为一名全栈大模型工程师,包括Prompt,LangChain,LoRA等技术开发、运营、产品等方向全栈工程;

• 能够拥有模型二次训练和微调能力,带领大家完成智能对话、文生图等热门应用;

• 薪资上浮10%-20%,覆盖更多高薪岗位,这是一个高需求、高待遇的热门方向和领域;

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术,也想通过这项技能真正达到升职加薪,就业或是副业的目的,但是不知道该如何开始学习,因为网上的资料太多太杂乱了,如果不能系统的学习就相当于是白学。为了让大家少走弯路,少碰壁,这里我直接把都打包整理好,希望能够真正帮助到大家。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】在这里插入图片描述

👉AI大模型学习路线汇总👈

大模型学习路线图,整体分为7个大的阶段:(全套教程文末领取哈)

read-normal-img

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

read-normal-img

👉大模型视频和PDF合集👈
观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

read-normal-img

read-normal-img

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

read-normal-img

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】在这里插入图片描述

【ollama 在linux 上离线部署 本地大模型】 简介如何用ollama 在linux部署大模型 阅读详情

相关推荐

ollama+open-webui,本地部署自己的大模型

Open WebUI 是一种可扩展、功能丰富且用户友好的自托管 WebUI,旨在完全离线运行。它支持各种LLM运行器,包括 Ollama 和 OpenAI 兼容的 API。open-webui项目地址。

spiderwower的博客 8万+

为大模型提供webui界面的利器:Open WebUI 完全本地离线部署deepseek r1

为大模型提供webui界面的利器:Open WebUI。Open WebUI是一个可扩展、功能丰富、用户友好的自托管AI平台,旨在完全离线运行。

skywalk8163的专栏 2万+

LCD驱动芯片——BL55072A驱动程序

初始化子程序: START 0x7C; I2C子地址 0xEA;ICSET,软件复位芯片 0xC0;MODSET,关显示 0xF0;BLKCTL,关闪烁 0xA3;DISCTL,80Hz Line inversion,High Power mode 0xE8;ICSET,清复位bit1 STOP 显示刷新子程序: START 0x7C;I2C子地址 0xF0;BLKCTL,关闪烁 0xA3;DISCTL,80Hz Line inversion,High Power mode 0xE8或0xEC;ICSE

love421的博客 3177

【AI】Ollama+OpenWebUI+llama3本地部署保姆级教程,没有连接互联网一样可以使用AI大模型!!!

在没有互联网的环境下部署,可以将下载好的Ollama安装包复制到此环境安装,然后将下载好的模型复制到相应路径就可以在无互联网的环境下使用。默认安装后的目录:C:\Users\username\AppData\Local\Programs\Ollama。8B模型一般16GB内存就可以跑的很流畅,70B模型则至少需要64GB内存,有CPU就可以跑,当然有GPU更好。由于llama3对中文的支持并不是很好,需要中文的可以使用GitHub上开源的这个llama3中文微调模型。提问题,发现该模型给了很好的回复。

weixin_45131680的博客 8719

ABAQUS应用15——Abaqus软件中边界条件与力学中自由度的关系

核心关系:Abaqus通过约束自由度实现边界条件,自由度类型由单元决定。正确设置步骤:确定模型类型(实体/梁/壳)。识别节点的自由度(平动或转动)。根据实际约束施加对应的自由度限制。验证:通过检查变形模式、反力分布等确认边界条件合理性。正确理解自由度与边界条件的关系,是确保有限元模型准确模拟实际物理行为的关键。

George的博客 1546

WinForm多语言切换实战:5分钟搞定中英文界面(附完整代码)

本文提供了WinForm应用实现中英文界面切换的两种高效实战方案。通过利用内置的本地化机制和资源文件,开发者可以在5分钟内为窗体添加多语言支持,并附有完整代码示例,帮助快速应对软件国际化需求。

weixin_29230773的博客 410

详细!离线部署大模型:ollama+deepseek+open-webui安装使用方法及常见问题解决!

ollama 是一个开源的本地大语言模型运行框架,它提供了非常简单便捷的使用形式,让用户可以十分方便的在本地机器上部署和运行大型语言模型,从而实现免费离线的方式使用 LLM 能力,并确保私有数据的隐私和安全性。

m0_74942241的博客 1175

【C++】 详解 lower_bound 和 upper_bound 函数(看不懂来捶我!!!)

这两个函数是我在 LeetCode 上做题见到,看到不熟悉的函数 lower_bound 和 upper_bound让我感觉很难受,于是在C++ 官网去学习,例子就一个是最基础的,我看明白了。虽然是两个函数的接口就两个,但是有时候看别人使用的时候,里面参数还可以放不同的仿函数,我懵逼了。就去网上搜,但是大家讲解的都是它的第一个接口。我只能再把文档一遍一遍过,代码一遍遍的尝试,调试。最终通过查阅资料将其总结如下。

weixin_45031801的博客 9万+

超详细!离线部署大模型:ollama+deepseek+open-webui安装使用方法及常见问题解决

通过以上内容,我们了解了 ollama 在国内环境下的安装使用方法,并介绍了因为国内网络特色导致安装过程可能会遇到的常见问题及解决办法。希望这些内容对你有所帮助,如果你有任何问题或建议,欢迎在评论区留言交流。• ollama 官方站:https://ollama.com• ollama 中文站:https://ollama.org.cn• ollama 入门:https://ollama.readthedocs.io/quickstart/

LoveSummer 2614

程序员实战:DINOv3 权重文件下载与本地化部署全流程指南

Meta开源的DINOv3视觉大模型凭借70亿参数和17亿图像训练,在语义分割、目标检测等任务表现优异。本文详解预训练权重的获取渠道、校验方法和加载实践。开发者可通过HuggingFace或GitHub获取不同版本权重,包括针对服务器端的ViT系列和边缘设备的ConvNeXt系列。文章提供MD5校验代码确保文件完整性,并给出PyTorch和Transformers两种加载方式。特别强调7B模型需16GB GPU内存,建议根据硬件条件选择合适版本,如边缘设备使用ConvNeXt-Tiny。最后指出DINOv3

xiugou3365的博客 5912

复现基于PYNQ-Z2的手写数字识别卷积加速器设计

来源雪天鱼。

eachanm的博客 969

离线部署大模型:ollama+deepseek+open-webui安装使用方法及常见问题解决,大模型入门到精通,收藏这篇就足够了!

ollama 是一个开源的本地大语言模型运行框架,它提供了非常简单便捷的使用形式,让用户可以十分方便的在本地机器上部署和运行大型语言模型,从而实现免费离线的方式使用 LLM 能力,并确保私有数据的隐私和安全性。

huang9604的博客 1333

【AFAC2026金融智能-赛题四】我做了一个疯狂的决定,把Embedding和Reranker全删了

本文介绍了AFAC2026金融智能挑战赛赛道四的解题思路,核心是在500万token的严格限制下实现金融长文本的高效问答。作者通过四步流水线(规划、BM25检索、记忆压缩、LLM推理)优化流程,重点创新在于: 采用零API调用的纯BM25检索,配合多路查询、封面页加权和页面邻接扩展等策略 设计高效的检索算法,从问题中提取专有名词并构建多路查询组合 深入理解评分公式,平衡准确率和token消耗,最终在准确率提升的同时将token消耗从数百万降至百万级 这些创新使方案在严格限制下实现了性能突破,展示了在资源受限

232

【笔记】linux离线部署Ollama+Deepseek r1+open webui

昨天看到了实验室服务器文件夹下面有一个deepseek的gguf文件,就顺便部署一下至于为什么要本地呢?可能有一些学术隐私的东西不方便被收集吧。(我应该没有关系,反正都是学术垃圾)实验室服务器是ubuntu 18(没人管理升级),不能上外网。看了一眼lm studio的linux,要求ubuntu20https://lmstudio.ai/docs/system-requirements,所以选择了ollama。在这里选择ollama+open webui进行部署。

MrIqzd的博客 2万+

在 Android Studio 中接入 DeepSeek:加速 Android 开发进程

通过在 Android Studio 中接入 DeepSeek,Android 开发者能够充分利用人工智能技术带来的强大优势,显著提升开发效率和代码质量。从前期的安装准备,到具体的接入步骤,再到使用过程中的技巧和注意事项,每一个环节都为打造高效、智能的开发环境提供了有力支持。希望本文能帮助你顺利将 DeepSeek 融入到 Android Studio 的开发工作流程中,让你在 Android 开发的道路上更加得心应手,创造出更优质的 Android 应用。

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 4177

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

上一篇: 使用LLaMA-Factory快速训练自己的专用大模型
下一篇: 通过改进Embedding模型,将你的RAG上下文召回率提高95%
爱喝白开水a
博客等级 码龄3年 6793粉丝 763原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值