在本地运行大语言模型：使用 Ollama 导入模型详解 [特殊字符]

1. 什么是 Ollama？

Ollama 是一个开源的大语言模型（LLM）本地管理工具，它提供：

• 本地运行：支持 DeepSeek、Qwen2、Llama3、Phi3、Gemma2 等多种开源大型语言模型；
• 环境统一：通过命令行和 API，简化模型的下载、导入、管理和部署流程；
• 开发者友好：适合研究人员、开发者、AI 爱好者进行本地测试与项目构建。

---

2. 安装与环境配置

2.1 安装步骤

1. 从 Ollama 官网 下载支持 Windows/Mac/Linux 的安装包；
2. 常规安装即可，无需额外配置。

2.2 环境变量设置建议

配置建议如下，以提升本地使用体验：

变量名称	功能说明
OLLAMA_MODELS	模型文件存放目录，避免塞满系统盘
OLLAMA_HOST	设置为 0.0.0.0 可接收局域网访问
OLLAMA_PORT	默认端口 11434，冲突时可替换
OLLAMA_ORIGINS	设置访问权限，如 * 支持任意来源
OLLAMA_KEEP_ALIVE	模型缓存存活时间（如 24h）
OLLAMA_NUM_PARALLEL	并发请求数量，建议 >1
OLLAMA_MAX_QUEUE	最大请求队列长度，默认 512
OLLAMA_DEBUG	调试模式开关，输出详细日志
OLLAMA_MAX_LOADED_MODELS	最大同时加载模型数，避免超载

---

3. 常用命令指南

ollama --version                   # 查看版本
ollama serve                      # 启动服务（默认本地 11434 端口）
ollama list                       # 显示已下载模型
ollama ps                         # 列出运行中的模型
ollama pull <模型名称>[:规格]     # 从仓库下载模型
ollama run <模型名称>            # 启动模型
ollama stop <模型名称>           # 停止模型运行
ollama show <模型名称>           # 查看模型信息
ollama create <名称> -f <文档>    # 导入自定义模型
ollama rm <模型名称>             # 删除本地模型
ollama cp <旧名> <新名>           # 复制并重命名模型

---

4. 三种本地模型导入方式

4.1 方式一：直接从远程仓库拉取（推荐）

ollama pull qwen2:0.5b
ollama pull qwen2     # 默认同等于 qwen2:latest

将完整模型下载到本地，或者更新已存在模型。

4.2 方式二：从 GGUF 权重文件导入

适用于手头已下载 GGUF 权重（如 Meta‑Llama‑3‑8B‑Instruct.Q4_K_M.gguf）：

1. 在模型目录创建 Modelfile 文件，内容：

   FROM ./Meta‑Llama‑3‑8B‑Instruct.Q4_K_M.gguf

2. 执行导入：

   ollama create Llama‑3‑8B -f ./Modelfile
   ollama list

4.3 方式三：从 safetensors 文件导入

适用于来自 HuggingFace/ModelScope 的 safetensors 文件（如量化后的 Mistral）：

1. 转换并量化成 bin 格式：

   python convert.py … –outfile Mistral‑7B‑v0.3.bin
   llama.cpp/quantize … Mistral‑7B‑v0.3_Q4.bin q4_0

2. 模型目录创建 Modelfile：

   FROM Mistral‑7B‑v0.3_Q4.bin
   

3. 导入执行：

   ollama create Mistral‑7B‑v0.3 -f ./Modelfile

导入后可通过 ollama list 查看。

---

5. Web 可视化界面部署

默认 CLI 界面较简陋，可使用第三方 WebUI 提升体验：

git clone https://github.com/ollama-webui/ollama-webui-lite
cd ollama-webui
npm config set registry http://mirrors.cloud.tencent.com/npm/
npm install
npm run dev

浏览器访问 http://localhost:3000/ 即可使用 Web 对话界面。

---

6. API 使用示例

6.1 HTTP 接口

• generate

  curl http://localhost:11434/api/generate     -d '{"model":"qwen:0.5b","prompt":"为什么天空是蓝色的？"}'

• chat

  curl http://localhost:11434/api/chat     -d '{"model":"qwen:7b","messages":[{"role":"user","content":"为什么天空是蓝色的？"}]}'

6.2 Python 接入

import ollama

# 流式输出方式
def api_generate(text: str):
    print(f"提问：{text}")
    stream = ollama.generate(stream=True, model='qwen:7b', prompt=text)
    for chunk in stream:
        if not chunk['done']:
            print(chunk['response'], end='', flush=True)
        else:
            print("\n【耗时】", chunk['total_duration'])

# 非流式调用
response = ollama.generate(model='qwen:0.5b', prompt='天空为什么是蓝色的？')

6.3 OpenAI SDK 调用

from openai import OpenAI

# 创建 OpenAI 客户端，指向 Ollama 本地服务
client = OpenAI(
    base_url="http://localhost:11434/v1",  # Ollama 本地服务地址
    api_key="ollama-local"                 # 必填，但随便填（Ollama 不验证）
)

response = client.chat.completions.create(
    model="qwen:7b",  # 替换为你本地已有的模型名称
    messages=[
        {"role": "user", "content": "讲一个程序员的冷笑话"}
    ]
)
print(response.choices[0].message.content)

⚠️ 注意事项

• base_url 一定要写成 http://localhost:11434/v1，注意结尾的 /v1；
• api_key 虽然是必填字段，但 Ollama 并不会验证，随便写即可；
• 模型名请确保是 ollama list 中可用的本地模型；
• 该方式适合已有使用 OpenAI SDK 的项目快速适配本地部署场景。

 如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、LLM大模型系列视频教程

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

五、AI产品经理大模型教程

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。

• 内容：

  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
  • L1.4.1 知识大模型
  • L1.4.2 生产大模型
  • L1.4.3 模型工程方法论
  • L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

• 内容：

  • L2.1 API接口
  • L2.1.1 OpenAI API接口
  • L2.1.2 Python接口接入
  • L2.1.3 BOT工具类框架
  • L2.1.4 代码示例
  • L2.2 Prompt框架
  • L2.3 流水线工程
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

• 内容：

  • L3.1 Agent模型框架
  • L3.2 MetaGPT
  • L3.3 ChatGLM
  • L3.4 LLAMA
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

• 内容：

  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​