Ollama 本地运行大模型(LLM)完全指南

原创 最新推荐文章于 2026-03-05 00:03:50 发布 7.1k 阅读 AI写同款
AI_小站
AI_小站 博客等级 码龄3年 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 7.1k累计阅读 7.1k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要
6255粉丝1152篇原创
关注
Ollama 可以在 Windows 上运行了 阅读详情
AI摘要

文章全面介绍了Ollama这一本地运行大模型的开源工具，涵盖其安装、运行、自定义模型、系统提示配置等方面，还提及与OpenAI的兼容性。此外，作者分享了AI大模型学习资料，包括学习路线、报告合集、经典书籍及商业化落地方案。

文章介绍了 Ollama 本地运行大模型（LLM）的方方面面， 包括安装运行、对话、自定义模型、系统提示配置、调试、开发、存储、如何作为服务、OpenAI 的兼容等。

这一年来，我已经习惯了使用线上大模型 API 来工作，只要网络在，就可以很方便地使用， 同时还能享受比较好的性能。

不过前两周的时候和一个客户聊系统，他们虽然现在没有应用大模型相关的能力，也没有计划安排 GPU 算力， 不过他们还是执着地要在本地进行大模型的部署。我想这也是很多企业不可改变的现状。

对于这部分需求，社区自然是已经有了很好而且很多的解决方案，比如 Ollama，这个 Github 已经 80.3K 星标的项目。本来这类工具做的易用性非常好（简单），一般是拿来看官网文档直接用就好，不过我在使用的时候发现，他的官网是没有专门的文档页面， 只有连接到 Github 的 Markdown，搞得我连运行起来之后的默认端口都要问一下 AI。

图片

所以我就想还是写篇文章，就把我看到的有用的信息都整理了一下，相信对大家也有点用，同时好让大家对 Ollama 有一个比较全面的了解。

文章包含以下内容：

  • • 软件安装以及使用容器运行
  • • 模型下载、运行、对话
  • • 导入自定义模型
  • • 定制系统提示
  • • CLI 命令全解
  • • REST API 介绍
  • • Python API 介绍
  • • 日志和 Debug
  • • Ollama 作为一个服务使用
  • • 模型的存储
  • • OpenAI 兼容性
  • • 并发等常见问题

Ollama 介绍

Ollama是一个专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的开源工具。它让用户无需深入了解复杂的底层技术，就能轻松地加载、运行和交互各种LLM模型。

本地和服务器Ollama 最初是被设计为本地（主要是开发）运行LLM的工具，当然现在也可以在服务器（面向用户并发提供服务）上使用，并且兼容 OpenAI 接口，可以作为 OpenAI 的私有化部署方案。

Ollama 的特点：

  • • 本地部署：不依赖云端服务，用户可以在自己的设备上运行模型，保护数据隐私。
  • • 多操作系统支持：无论是 Mac、Linux 还是 Window，都能很方便安装使用。
  • • 多模型支持：Ollama 支持多种流行的LLM模型，如Llama、Falcon等，用户可以根据自己的需求选择不同的模型，一键运行。
  • • 易于使用：提供了直观的命令行界面，操作简单，上手容易。
  • • 可扩展性：支持自定义配置，用户可以根据自己的硬件环境和模型需求进行优化。
  • • 开源：代码完全开放，用户可以自由查看、修改和分发，虽然没有很多人会去修改。

安装

MacOS

苹果电脑安装很简单，下载 Zip 解压，运行即可：

https://ollama.com/download/Ollama-darwin.zip

安装运行 Ollama.app 之后，系统任务栏上会有一个应用程序图标，点击可以关闭 Ollama 服务。

在这里插入图片描述
MacOS 任务栏

Windows

Windows 现在还处于预览版，官方也提供了安装包，安装过程不再赘述。

https://ollama.com/download/OllamaSetup.exe

Linux

Linux 直接 Shell 脚本执行：

curl -fsSL https://ollama.com/install.sh | sh

Docker

除了直接安装，我们还可以通过 Docker 运行，官方提供了镜像 ollama/ollama[1]， 可以直接运行。

由于 Docker 有一层封装，所以使用 CPU 和 GPU 需要不同的配置。

CPU 模式

先说 CPU 模式运行，这个不需要什么配置和驱动，直接就可以运行，这也是 Ollama 的优势。

# CPU 模式
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
NVIDIA GPU

前面的命令运行时直接使用 CPU 来进行推理的，适合普通电脑没有 GPU 资源的场景。如果想要在容器（Docker）内使用 GPU 进行推理，配置稍微麻烦一下。

在 Docker 中使用 Nvidia GPU 的过程大家可以参考 NVIDIA 容器工具包文件安装文档[2]。

首先是为 Linux 发行版安装 NVIDIA GPU 驱动程序，安装过程也不是很复杂，以 APT（Ubuntu、Debian 等系统适用）为例。

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \    
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

然后配置容器运行时，并重新启动容器服务进程（下面以 Docker 为例，Containerd/Kubernetes 可以参考文末文档）：

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

然后增加启动参数 --gpus=all 使用 GPU 模式启动容器：

# GPU 模式
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
AMD GPU

如果使用 AMD GPUs 来运行 Ollama， 使用 rocm 版本的镜像和以下命令运行：

docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm

运行模型

本地运行

安装成功之后，运行模型只需要简单的一句命令：

ollama run llama3.1

如果是第一次运行， Ollama 会先从网络上下载模型（5个G左右），比如我下载速度是 2-5M/s，半个多小时之后就可以下载完成了。等待过程大家可以泡个茶休息下。

图片第一次运行模型需要下载

容器运行

在容器里面运行模型和在本机运行一样，使用 ollama run 命令：

docker exec -it ollama ollama run llama3

支持的模型

使用 ollama run <模型名> 来运行模型，第一次运行会先下载模型哦。

比如下载 「Llama 3.1」， 那么执行下面命令即可：

ollama run llama:3.1

下面列出常用的模型，以及其参数数量、文件大小、在 Ollama 中的模型名，比如 Meta 公司的 Llama 模型， 谷歌公司的 Gemma 模型，以及国内智谱的 GLM 模型、阿里云的千问模型。。

模型参数大小模型名
Llama3.18B4.7Gllama3.1
Llama3.1405B231Gllama3.1:405b
GLM49B5.5Gglm4
Qwen27B4.4Gqwen2
Qwen272B41Gqwen2:72b
Llama38B4.7Gllama3
Llama370B40Gllama3:70b
Phi33.8B2.3Gphi3
Phi314B7.9Gphi3:medium
Gemma29B5.5Ggemma2
Gemma227B16Ggemma2:27b
Mistral7B4.1Gmistral
Starling7B4.1Gstarling-lm
CodeLlama7B3.8Gcodellama
LLaVA7B4.5Gllava
Solar10.7B6.1Gsolar

完整的模型大家可以去 Ollama Library[3] 去搜索和查看。

图片Ollama Library

点击模型可以看到模型的介绍、参数列表、下载命令，等详细信息。

图片Ollama 模型介绍

部分模型的 Readme 里面还可以看到模型的评估报告：

图片Ollama Llama 3.1 评估

关于不同型号模型需要的内存运行 7B 型号的模型，需要至少拥有 8 GB 的 RAM ，运行 13B 型号的模型需要至少 16 GB 的 RAM， ，运行 33B 型号的模型需要至少 32 GB 的 RAM。

自定义模型

除了内置支持的模型，你也可以使用 Ollama 来运行自定义模型。支持下面三种方式导入模型：

  • • GGUF
  • • PyTorch
  • • Safetensors

从 GGUF 导入

GGUF 是一种文件格式，用于存储使用 GGML 进行推理的模型以及基于 GGML 的执行器。

GGUF 是一种二进制格式，旨在快速加载和保存模型，并且易于读取。一般情况下，模型是使用 PyTorch 或其他框架开发的，然后转换为 GGUF 以在 GGML 中使用。

图片GGUF格式架构

GGUF 的更多介绍和特点我们不过多介绍，您可以访问 GGUF Github 站点[4]来获取相关信息。

使用 Ollama 导入 GGUF 模型非常简单，只需要如下三步：

  1. \1. 创建一个名为 的文件Modelfile，其中包含FROM要导入的模型的本地文件路径的指令。
FROM ./vicuna-33b.Q4_0.gguf
  1. \1. 在 Ollama 中创建模型，这一步我们可以指定模型的名称，比如 vicuna-33b-q4
ollama create vicuna-33b-q4 -f Modelfile
  1. \1. 经过上面两个步骤，我们就可以像运行内置模型一样运行刚刚导入的自定义模型了。
ollama run vicuna-33b-q4

从 PyTorch 或 Safetensors 导入

如果导入的模型是以下架构之一，则可以通过 Modelfile 直接导入 Ollama：

  • • LlamaForCausalLM
  • • MistralForCausalLM
  • • GemmaForCausalLM
FROM /path/to/safetensors/directory

如果不能支持的话，需要先使用 llama.cpp 转换成 GGUF 格式[5]：

常见的格式比如 HuggingFace、GGML、Lora 都支持，并提供了转换文件。

  • • convert_hf_to_gguf.py
  • • convert_hf_to_gguf_update.py
  • • convert_llama_ggml_to_gguf.py
  • • convert_lora_to_gguf.py

使用也很简单，比如转换 HuggingFace 模型。

首先克隆llama.cpp仓库，

git clone https://github.com/ggerganov/llama.cpp.git

安装必要的 Python 依赖：

pip install -r llama.cpp/requirements.txt

使用也很简单，传入 HuggingFace 的模型和输出位置等参数即可：

python llama.cpp/convert_hf_to_gguf.py vicuna-hf \
  --outfile vicuna-13b-v1.5.gguf \
  --outtype q8_0

定制系统提示

Ollama 支持运行系统模型时候，为每个模型定制系统提示（System Prompt）。

以智谱的 GLM 为例，来看看如何定制系统提示语。

首先确保我们下载了该模型：

ollama pull glm4

创建一个模型文件 Modelfile：

在这里插入图片描述

然后运行模型：

ollama create glm4xiuxian -f ./Modelfile
ollama run glm4xiuxian

然后问问他「今天我要做什么」，看看大模型怎么回答：

图片GLM4 系统提示词 - 修真版

Ollama 相关命令

前面已经用到了很多 Ollama 命令，我们下载系统的看一下 Ollama 的 CLI 命令。

创建模型

ollama create用于从 Modelfile 创建模型。

ollama create mymodel -f ./Modelfile

ModelfileModelfile 是 模型的描述文件，类似用于构建 Docker 镜像的 Dockerfile。

拉取和更新模型

ollama pull 用于拉取模型，如果模型已经存在，那么则更新本地模型。

ollama pull llama3

删除模型

如果模型不再使用，可以使用 ollama rm 从本机删除掉，以节省磁盘存储空间。下次使用的时候，仍然可以重新拉取。

ollama rm llama3

复制模型

ollama cp 命令可以复制一个模型，复制模型会占用双倍的磁盘空间。

ollama cp llama3 my-model

多行输入

在 Ollama 的命令行里面，回车表示发送指令，如果需要多行输入，可以使用单引号 ( """ ) 来完成。

>>> """Hello,
... world!
... """

多模态模型

使用多模态模型，只需要输入文件图片地址，即可表示上传了这个图片文件。

>>> What's in this image? /Users/jmorgan/Desktop/smile.png
>The image features a yellow smiley face, which is likely the central focus of the picture.

run 参数提问

我们可以把提示词直接通过参数传递给大模型，该命令不会进入交互式输入模式。比如：

ollama run glm4xiuxian 今天我要做什么

图片

显示模型信息

ollama show glm4

注意，只有下载过之后的模型才能通过 show 命令来显示模型相关信息。

启动

当您想启动 Ollama 时可以使用 ollama serve。这样就不需要使用 Ollama 的客户端程序了。比如我们在 Linux 服务器上就可以这样使用。

ollama serve

启动之后，我们需要新开一个 Shell 窗口来运行模型：

./ollama run glm4

默认端口Ollama 服务的默认端口是 11435，无论是使用 App 启动，还是使用命令行启动，均是这个默认端口。

由于 命令行和 APP 都使用 11435 默认端口，我们再 GUI 工作的时候执行 ollama server 会提示端口已占用。我们可以通过环境变量指定一个新的端口，来同时运行两个 ollama 实例：

OLLAMA_HOST=127.0.0.1:11435 ollama serve

Serve 命令提供了很多环境变量，可以让你更自由的运行 Ollama 程序：

  • • OLLAMA_DEBUG 显示其他调试信息（例如 OLLAMA_DEBUG=1）
  • • OLLAMA_HOST ollama 服务器的 IP 地址（默认 127.0.0.1:11434）
  • • OLLAMA_KEEP_ALIVE 模型在内存中保持加载状态的持续时间（默认“5 分钟”）
  • • OLLAMA_MAX_LOADED_MODELS 每个 GPU 加载的最大模型数量
  • • OLLAMA_MAX_QUEUE 排队请求的最大数量
  • • OLLAMA_MODELS 模型目录的路径
  • • OLLAMA_NUM_PARALLEL 并行请求的最大数量
  • • OLLAMA_NOPRUNE 启动时不修剪模型 blob
  • • OLLAMA_ORIGINS 允许来源的逗号分隔列表
  • • OLLAMA_TMPDIR 临时文件的位置
  • • OLLAMA_FLASH_ATTENTION 启用闪存注意
  • • OLLAMA_LLM_LIBRARY 设置 LLM 库以绕过自动检测

REST API

Ollama 启动之后，会自动运行一个执行和管理模型的 API。

回答 API

在这里插入图片描述

聊天 API

在这里插入图片描述

除了上述最基本的用法，我们还可以指定响应格式、使用流式响应等。

比如使用流式 API：

在这里插入图片描述

或者非流式 API，直接返回结果：
在这里插入图片描述

更多用法可以参考 Ollama API 文档[6]。

Python API

Ollama 提供了 Python API，可以让 Python 程序快速与 Ollama 集成起来。

首先安装依赖库：

pip install ollama

聊天：

在这里插入图片描述

使用流式API：

在这里插入图片描述

另外，CLI 提供的指令在 Python 里面都有 API 对应。

聊天

ollama.create(model='example', modelfile=modelfile)

生成文本

ollama.generate(model='llama3', prompt='Why is the sky blue?')

列出模型

ollama.list()

显示模型信息

ollama.show('llama3')

创建模型

在这里插入图片描述

拉取模型

ollama.pull('llama3')

拷贝模型

ollama.copy('llama3', 'user/llama3')

删除模型

ollama.delete('llama3')

自定义客户端

创建客户端的时候可以指定 host 和 timeout 两个参数：

在这里插入图片描述

错误处理

一般使用 ResponseError 来捕获异常，处理错误：

在这里插入图片描述

日志

Ollama 的日志文件存储在 ~/.ollama/logs/server.log，我们可以通过查看 这个日志文件来获取 Ollama 的运行信息，以及排查错误。

在 Mac 上直接打开文件即可查看日志：

图片

也可以通过命令行来查看：

cat ~/.ollama/logs/server.log

图片

如果是容器运行的话，更简单，直接查看容器的输出即可：

docker logs <container-name>

调试

LLM 窗口大小

默认情况下，Ollama 使用 2048 个标记的上下文窗口大小。

要在使用ollama run 的时候更改此设置，请使用/set parameter：

/set parameter num_ctx 4096

使用API时，指定num_ctx参数：
在这里插入图片描述

GPU 使用

通过 PS 命令查看 模型是否加载到了 GPU 上。

PS 命令会返回当前内存中已经加载的模型：

图片

Processor 列显示模型被加载到哪个内存中：

  • • 100% GPU 表示模型已完全加载到 GPU 中
  • • 100% CPU 表示模型已完全加载到系统内存中
  • • 48%/52% CPU/GPU 表示模型已部分加载到 GPU 和系统内存中

Ollama 作为服务使用

一直到前面为止， Ollama 运行起来都只能在本机使用，可以通过设置环境变量来让其他客户端访问。

Serve 命令

如果是使用 Serve 命令启动，那就比较简单，和我们前面改端口一样：

OLLAMA_HOST=0.0.0.0:11435 ollama serve

MacOS 应用程序

如果 Ollama 作为 macOS 应用程序运行，则应使用以下命令设置环境变量launchctl：

使用 launchctl setenv 设置环境变量，然后重新运行程序。

launchctl setenv OLLAMA_HOST "0.0.0.0"

使用代理

Ollama 支持使用 HTTP_PROXY 和 HTTPS_PROXY 来配置代理。

如果是 Docker 运行，那么使用 -e HTTPS_PROXY=https://proxy.example.com 来设置环境变量即可。

模型存储

Ollama 会下载模型到本地，不同操作系统的模型位置分别是：

  • • MacOS：~/.ollama/models
  • • Linux：/usr/share/ollama/.ollama/models
  • • Windows：C:\Users\%username%\.ollama\models

如果你想将模型存储到不同位置，可以使用 OLLAMA_MODELS 环境变量来指定不同的目录。

并发

以下服务器设置可用于调整 Ollama 在大多数平台上处理并发请求的方式：

  • • OLLAMA_MAX_LOADED_MODELS 可同时加载的最大模型数量（前提是它们适合可用内存）。默认值为 3 * GPU 数量或 3（用于 CPU 推理）。
  • • OLLAMA_NUM_PARALLEL 每个模型同时处理的最大并行请求数。默认将根据可用内存自动选择 4 或 1。
  • • OLLAMA_MAX_QUEUE Ollama 在繁忙时排队的最大请求数，在拒绝其他请求之前。默认值为 512

Ollama 处理并发请求的逻辑是：

  • • 如果有足够内存，则可以同时加载多个模型
  • • 对于某个模型，如果有足够内存，则可以并发处理请求
  • • 如果内存不足以加载新模型：所有请求都排队，直至新模型加载
  • • 之前的模型空闲时，会写在一个或多个模型腾出空间给新模型
  • • 排队的请求按顺序处理

OpenAI 兼容性

Ollama 与OpenAI API的部分内容提供了实验性的兼容性， 以帮助将现有应用程序连接到 Ollama。

使用 OpenAI Python 库

用法和 OpenAI 的客户端用法一样。

在这里插入图片描述

OpenAI JavaScript

在这里插入图片描述

CURL 工具

在这里插入图片描述

模型名称

有些程序依赖 OpenAI 默认的模型名称（例如 gpt-3.5-turbo）， 无法修改或者指定模型，可以使用如下方法来解决。

复制一个你喜欢的模型为 gpt-3.5-turbo，

ollama cp llama3 gpt-3.5-turbo

这样我们就可以李代桃僵来保证原有程序不变，依然传递 gpt-3.5-turbo 作为模型名称：

在这里插入图片描述

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

标签
#人工智能 #大模型训练 #大语言模型 #大模型应用 #ollama
#LLM #ai大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Ollama入门教程：从安装到运行的完整指南 随着人工智能（AI）技术的快速发展，大型语言模型（LLMs）逐渐成为了各行各业的重要工具。然而，使用这些强大模型的同时，数据隐私、处理效率和部署复杂度等问题也逐渐浮现。为了解决这些问题，Ollama 提供了一种创新的解决方案——通过本地化部署大型语言模型，不仅能够增强数据隐私性，还能提高模型的运行效率。本文将详细介绍如何下载和安装 Ollama，如何选择和运行不同的语言模型，以及 Ollama 的特点、适用场景、优缺点等内容，帮助大家深入了解这一平台。ollama官网🚪 ollama官方文档🚪 根据自己 阅读详情

相关推荐

Ollama：一个在本地部署、运行大型语言模型的工具

所谓自定义模型就是不适用Ollama官方模型库中的模型，理论可以使用其他各类经过转换处理的模型Ollama库中的模型可以通过提示进行自定义。python复制代码FROM llama3 # 设置温度参数 PARAMETER temperature 1 # 设置SYSTEM 消息 SYSTEM """作为AI智能助手，你将竭尽所能为员工提供严谨和有帮助的答复。"""Modelfile文档One-API是一个OpenAI接口管理 & 分发系统，支持各类大模型。这里使用Docker快速进行部署。拉取镜像。

2401_84495725的博客 6721

一文彻底整明白，基于Ollama工具的LLM大语言模型Web可视化对话机器人部署指南

在上一篇博文中，我们在本地部署了**Llama 3 8B**参数大模型，并用 Python 写了一个控制台对话客户端，基本能愉快的与 Llama 大模型对话聊天了。但控制台总归太技术化，体验不是很友好，我们希望能有个类似 ChatGPT 那样的 Web 聊天对话界面，本博文就安排起来……

老牛啊 1万+

Ollama部署本地大模型

Ollama

m0_63823719的博客 1万+

使用ollama在本地部署llama3-8b大模型

使用ollama在本地部署llama3-8b大模型

weixin_39945822的博客 1万+

OLLaMA搭建本地大模型

根据 ChatGPT 的使用经验，大家都知道系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词，跟Modelfile里面的SYSTEM下面的定义差不多一个意思。

Aweii__的博客 4328

linux 部署Ollama本地大模型

llama 是一个大模型的管理框架，其作用类似于 Docker：如果将每一个标准化的大模型视为“镜像”，那么 Ollama 就能够通过一行命令快速拉取并运行这些大模型。然而，Ollama 本身是基于命令行的服务，所以为了方便我们对大模型进行微调和使用，还需要引入 maxkb。maxkb 提供了一个 ChatBot 界面，它会把我们输入的结构化知识、转换成大模型可以理解的语言（即嵌入向量），从而实现有效的交互。

隔壁小红馆 2339

Ollama 本地运行大模型(LLM)完全指南_ollama token速度计算

Ollama是一个专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的开源工具。它让用户无需深入了解复杂的底层技术，就能轻松地加载、运行和交互各种LLM模型。本地和服务器Ollama 最初是被设计为本地（主要是开发）运行LLM的工具，当然现在也可以在服务器（面向用户并发提供服务）上使用，并且兼容 OpenAI 接口，可以作为 OpenAI 的私有化部署方案。Ollama 的特点：• 本地部署：不依赖云端服务，用户可以在自己的设备上运行模型，保护数据隐私。

HUANGXIN9898的博客 3051

微信聊天记录数据库解密实战：从WCDB到sqlcipher4的关键步骤解析

本文详细解析了微信桌面版聊天记录数据库的解密实战过程。通过逆向分析，定位了微信从WCDB框架到sqlcipher4加密的关键步骤，并成功提取了数据库密钥。文章重点介绍了如何通过动态调试、字符串定位等方法，追踪并验证sqlcipher4的加密密钥，最终实现对加密数据库文件的解密操作，为安全研究和数据恢复提供了技术参考。

weixin_29322553的博客 1071

Ollama 本地运行大模型(LLM)完全指南（附教程）

Ollama 本地运行大模型(LLM)完全指南（附教程）

2301_81940605的博客 2687

二、租用AutoDL服务器与连接教程

点击右上角控制台，选择【租用新的实例】；，我这里使用的是xshell和xftp工具（自行下载）。打开本地目录和服务器目录，直接拖动文件。

zzf021122的博客 1327

手把手教你用STM32F030实现功率MOS双脉冲测试（附完整电路图）

本文详细介绍了如何使用STM32F030微控制器搭建功率MOSFET双脉冲测试平台。通过分析双脉冲测试原理，提供了完整的硬件电路设计、驱动电路选型、软件时序生成方法，并指导如何利用示波器捕获和分析开关波形，从而评估功率器件的动态特性与开关损耗。

juice的博客 713

Ollama完全指南：从零开始玩转本地大模型部署

本文将手把手教你从安装到高级使用的完整流程，避开那些官方文档没明说的坑。

2301_81888214的博客 1197

(01)ORB-SLAM2源码无死角解析-(38) EPnP 算法原理详解→理论基础二:分情况求得beta初始解

讲解关于slam一系列文章汇总链接:史上最全slam从零开始，针对于本栏目讲解的(01)ORB-SLAM2源码无死角解析链接如下(本文内容来自计算机视觉life ORB-SLAM2 课程课件): (01)ORB-SLAM2源码无死角解析-(00)目录_最新无死角讲解：https://blog.youkuaiyun.com/weixin_43013761/article/details/123092196 文末正下方中心提供了本人联系方式，点击本人照片即可显示WX→官方认证{\color{blue}{文末正下方中心}

江南才尽江南山，年少无知年少狂！ 1024

【LLM】Ollama：本地大模型使用

本指南将详细介绍如何在Linux系统上使用进行本地大模型的快速部署与管理。通过Docker容器化技术，您可以轻松部署Ollama及其WebUI，实现通过浏览器访问和管理大型语言模型。

2303_80346267的博客 3020

【06】C#入门到精通——C# 多个 .cs文件项目 同一项目下添加多个 .cs文件

本文介绍了如何将C#游戏开发中的代码从单个.cs文件拆分到多个.cs文件中，以提升代码的可维护性和可读性。文章演示了在Visual Studio中创建Hero类和ShowInfo类的具体步骤：通过右键项目名添加新建类，将原有代码分别剪切到对应的类文件中，并自动生成命名空间。拆分后需要在Program.cs中通过"using"指令引用这些类，最后通过运行测试验证功能正常。这种模块化代码组织方式能有效解决单一文件代码过长、结构混乱的问题。

程序员，他们想的是什么?他们想的永远都是技术，他们崇尚的也永远都是技术。 1137

把 SAP 输出稳稳落到 PDF：从 SPAD 前端打印到 ABAP 程序级转换的一套方法

摘要：本文介绍了三种在SAP系统中将报表输出转为PDF文件的方法。路线A通过SPAD配置前端输出设备，结合Windows打印机设置实现用户交互式PDF保存；路线B在SP01事务码中将已有Spool请求另存为PDF，适用于补救导出；路线C通过ABAP程序自动转换Spool为PDF，适合批量处理。文章详细说明了配置步骤，并针对常见问题（如乱码、文件格式错误等）提供了排查思路。三种方案分别适用于不同场景，用户可根据实际需求选择最合适的PDF导出方式。

2007 年 ~ 2025 年，深耕 SAP 技术 18 年 221

LLM 部署(2)——Ollama 部署大模型

Ollama官网：https://ollama.com/Ollama是一个开源的 LLM（大型语言模型）服务工具，支持的大语言模型列表，可通过搜索模型名称查看：https://ollama.com/library, 官方 GitHub 源代码仓库：https://github.com/ollama/ollama/。在官网首页，可以直接下载Ollama安装程序（支持 Windows/MacOS/Linux）：https://ollama.com/安装完成之后常用的系统环境变量参数设置： 删除单个本地大模型：

哦豁灬 2万+

openharmony之启动恢复子系统详解

需求: 添加一个名为my_service的自定义服务步骤1: 创建服务配置],],"env": [步骤2: 添加到主配置],"jobs": ["cmds": [步骤3: 验证配置# ✅ 检查配置格式 jq . /system/etc/init/my_service.cfg # 🔄 重新加载配置 begetctl reload # 📊 验证服务状态 begetctl dump_service my_serviceOpenHarmony init进程的完整生命周期。🔄 三阶段启动模型⚙️ 配置体系。

m0_67505153的博客 601

Ollama入门：本地便捷部署、运行LLM大模型

Ollama是一个专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的工具。

huang9604的博客 6417

11、硬件工程师笔试面试——IGBT（2025版本）

IGBT的应用展望与创新趋势表明，随着电子技术的不断发展，IGBT在各个领域都有广泛的应用，如高压电力系统、交通工具、电锅炉、太阳能和风能发电系统等。FS型IGBT（场终止型绝缘栅双极晶体管）在电力传输领域的应用中，通过其独特的设计和特性，有助于确保系统的稳定性和安全性。每种器件都有其独特的优势，能够满足电力传输系统中不同的技术要求。FS型IGBT通常具有正温度系数，这意味着随着温度的升高，导通压降的主要影响因素是载流子迁移率的降低以及集电极和发射极的接触电阻的增加，有助于在高温下维持稳定的性能。

XU157303764的博客 2672

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。
上一篇： 大模型好书安利：《大模型时代：ChatGPT开启通用人工智能浪潮》（附学习PDF）
下一篇： 搭建大模型知识库流程，以及基于langchain实现大模型知识库案例
点赞 17
评论 0
书签 书签 31
AI_小站
AI_小站
博客等级 码龄3年 6255粉丝 1152原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值