ollama模型CPU轻量化部署

已于 2025-03-14 09:30:15 修改
阅读量4.1k 收藏 17
点赞数 11
CC 4.0 BY-SA版权
分类专栏： AI deployed 文章标签： 人工智能
于 2024-06-17 14:33:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40777649/article/details/139743141

一、定义

  1. ollama 定义
  2. 环境部署
  3. demo
  4. 加载本地模型方法
  5. 基本指令
  6. 关闭开启ollama
  7. ollama 如何同时 运行多个模型, 多进程
  8. ollama 如何分配gpu
  9. 修改模型的存储路径
  10. 后台运行

二、实现

  1. ollama 定义
    ollama 是llama-cpp 的进一步封装，更加简单易用，类似于docker.
    模型网址：https://www.ollama.com/
    部署网址：https://github.com/ollama/ollama
    教程：https://github.com/ollama/ollama/releases
  2. 环境部署
    1. 宿主机安装
    curl -fsSL https://ollama.com/install.sh | sh
    在这里插入图片描述
    curl http://localhost:11434 已经启动。
远程访问配置：
>>sudo vi /etc/systemd/system/ollama.service
对于每个环境变量，在 [Service] 部分下添加一行 Environment：
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
保存并退出。
重新加载 systemd 并重新启动 Ollama：
>>systemctl daemon-reload
>>systemctl restart ollama

在这里插入图片描述
2. docker 模式安装
https://hub.docker.com/r/ollama/ollama

docker pull ollama/ollama
cpu:
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
gpu:
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

  1. 案例
    1.加载模型/运行模型

                

                
                
        

    

    
  


        

            

                      
                        最低0.47元/天 解锁文章
                        

                          
200万优质内容无限畅学

                          
                        

                      
            

        


    



                



	

		

			

				
					
【AI学习指南】轻量级模型-用 Ollama 轻松玩转本地大模型

				
			

			

				

					瑶山的博客
				

				

					07-28
					
					1884
					
				

			

		

		

			
				
根据 ChatGPT 的使用经验，系统提示词是很重要的。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。role为system的消息即为系统提示词。"content": "以同学的口吻简单作答。},"content": "你会游泳吗？],}'现在AI领域的进展日新月异，进步就像是从刀耕火种步入现代社会：就像是我上个月写了这篇文章，现在AI又踏上了新的征程。

			
		

	



                

            
              



	

		

			

				
					
Ollama 本地CPU部署开源大模型

				
			

			

				

					Python_Ai_Road的博客
				

				

					06-14
					
					3079
					
				

			

		

		

			
				
Ollama可以在本地CPU非常方便地部署许多开源的大模型。如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。完整支持的模型列表可以参考：https://ollama.com/library它基于llama.cpp实现，本地CPU推理效率非常高（当然如果有GPU的话，推理效率会更高）, 还可以兼容 openai的接口。本文将按照如下顺序介绍Olla...

			
		

	



              


  
              

                


	

		

			

				
					
【快捷部署】016_Ollama（CPU only版）

				
			

			

				

					luckcxy的专栏
				

				

					04-10
					
					6488
					
				

			

		

		

			
				
一键快速私有化部署gemma大模型（低门槛，CPU only）

			
		

	





	

		

			

				
					
动手学Ollama：让用户使用CPU部署大模型，降低部署门槛

					
最新发布

				
			

			

				

					2301_81888214的博客
				

				

					06-06
					
					799
					
				

			

		

		

			
				
如果你喜欢折腾AI，那Ollama应该不会陌生，无论是油管还是B站上面，很多相关教程，如果你不喜欢看文字，可以尝试去B站或者油管搜索相关视频进行查看，如果你觉得文字更加青睐，可以看看文本推荐的站点。

			
		

	



		

			
		



	

		

			

				
					
使用Ollama和OpenWebUI在CPU上玩转Meta Llama3-8B

				
			

			

				

					TonyBai
				

				

					04-25
					
					3305
					
				

			

		

		

			
				
2024年4月18日，meta开源了Llama 3大模型[1]，虽然只有8B[2]和70B[3]两个版本，但Llama 3表现出来的强大能力还是让AI大模型界为之震撼了一番，本人亲测Llama3-70B版本的推理能力十分接近于OpenAI的GPT-4[4]，何况还有一个400B的超大模型还在路上，据说再过几个月能发布。Github上人气巨火的本地大模型部署和运行工具项目Ollama[5]也在第一时...

			
		

	





	

		

			

				
					
Windows下Ollama只调用CPU，不使用GPU处理

				
			

			

				

					weixin_50450265的博客
				

				

					02-07
					
					1万+
					
				

			

		

		

			
				
在本地使用Ollama框架部署deepseek后发现CPU占用极高，查看日志发现不支持电脑的显卡型号。重启成功后，使用deepseek时CPU占用正常，成功使用GPU。，官方支持的显卡只需要下载安装官方版本的就行了。对于官方不支持的显卡才需要用这个版本，也能。打开软件安装目录，比如这是我的安装路径。下载显卡型号对应的压缩包。

			
		

	





	

		

			

				
					
Ollama 本地CPU部署开源大模型（附教程）

				
			

			

				

					2401_82469710的博客
				

				

					01-16
					
					1434
					
				

			

		

		

			
				
Ollama 本地CPU部署开源大模型（附教程）

			
		

	





	

		

			

				
					
ollama自定义模型容器部署（cpu版）

				
			

			

				

					gallonyin的博客
				

				

					09-21
					
					1809
					
				

			

		

		

			
				
使用GPU需要安装 NVIDIA Container Toolkit⁠： https://hub.docker.com/r/ollama/ollama。如果想使用Qwen2.5-7B模型，可以在这个模型页选择适合自己算力需求的模型下载。ollama create        #从模型文件创建模型。ollama pull          #从注册表中拉取模型。ollama serve         #启动ollama。ollama run           #运行模型。

			
		

	





	

		

			

				
					
Ollama 本地部署指南：轻量级运行 Qwen3 模型全攻略

				
			

			

				

					专注于深入研究多种编程语言，以实战为导向，逐步拓展开发技能，提升工程化编码和思维能力，展现无敌技术实力。
				

				

					05-05
					
					1523
					
				

			

		

		

			
				
Ollama 是一个强大的模型管理平台，轻松让你在本地部署 Qwen3 模型。无论是写作、编程，还是创意生成，Qwen3 都能成为你的得力助手，操作简便，性能卓越。

			
		

	





	

		

			

				
					
Ollama部署大模型详解

				
			

			

				

					topfine的博客
				

				

					04-11
					
					1420
					
				

			

		

		

			
				
Ollama的优势在哪里?  
如何启动Ollama  
配置适合自己Ollama  
加载本地模型的方法  

			
		

	





	

		

			

				
					
内网服务器离线环境下 Ollama 的完整部署指南

				
			

			

				

					qq_33933889的博客
				

				

					05-16
					
					1386
					
				

			

		

		

			
				
通过本文所述的离线部署方案，企业可以在完全隔离的内网环境中安全运行 Ollama，实现大语言模型的本地化应用。关键在于做好依赖管理、模型预处理和服务化配置，同时结合企业实际需求进行安全加固和性能优化。随着 AI 本地化部署需求的增长，这种离线环境下的技术方案将在金融、政府、医疗等对数据安全要求高的领域发挥重要作用。注意：部署过程中请严格遵守企业内部的安全规范，所有离线传输的文件需经过病毒扫描和完整性校验。建议在测试环境完成全流程验证后再进行生产环境部署。

			
		

	





	

		

			

				
					
Ollama运行DeepSeek大模型调优指南：GPU与CPU协同实现性能最大化

				
			

			

				

					qq_32358423的博客
				

				

					02-26
					
					2560
					
				

			

		

		

			
				
Ollama运行DeepSeek大模型调优指南

			
		

	





	

		

			

				
					
LLM大模型教程：Ollama 本地CPU部署开源大模型

				
			

			

				

					AAI666666的博客
				

				

					11-15
					
					1695
					
				

			

		

		

			
				
Ollama可以在本地CPU非常方便地部署许多开源的大模型。如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。

			
		

	





	

		

			

				
					
CPU上安装ollama和部署开源Llama2-chinese模型

				
			

			

				

					ishanshui的博客
				

				

					03-01
					
					5811
					
				

			

		

		

			
				
即使没有GPU显卡，在CPU上借用ollama服务工具，也可以一键体验对话式语言模型。

			
		

	





	

		

			

				
					
ollama本地部署大模型（纯CPU推理）实践

					
热门推荐

				
			

			

				

					缘友一世的博客
				

				

					03-31
					
					3万+
					
				

			

		

		

			
				
一个开源的大型语言模型服务提供类似 OpenAI 的 API 接口和聊天界面，可以非常方便地部署最新版本的 GPT 模型并通过接口使用。支持热加载模型文件，无需重新启动即可切换不同的模型。针对 LLM 用户友好的 WebUI，支持的 LLM 运行程序包括 Ollama、OpenAI 兼容的 API。

			
		

	





	

		

			

				
					
在CPU服务器上部署Ollama和Dify的过程记录

				
			

			

				

					羊城迷鹿的博客
				

				

					04-04
					
					1552
					
				

			

		

		

			
				
Ollama部署：优先考虑Docker安装方式，确保正确配置数据卷挂载和端口映射Dify配置：实现与Ollama的正确集成，确保数据持久化Docker管理：掌握Docker Compose的使用，熟悉项目的打包、迁移和部署流程通过这些步骤，您可以在标准CPU服务器上构建一个完整的AI应用开发环境，运行大语言模型并基于它们构建应用，即使在离线环境中也能高效运作。🎉进入云端运维专栏🚀查看更多专栏内容。

			
		

	





	

		

			

				
					
【人工智能】Ollama 在 CPU 环境下的性能优化：让低配硬件也能玩转大语言模型

				
			

			

				

					一个被知识诅咒的人
				

				

					03-24
					
					1157
					
				

			

		

		

			
				
随着大语言模型（LLM）的普及，如何在低配硬件上高效运行这些模型成为许多开发者和爱好者关注的焦点。本文深入探讨了使用 Ollama 在 CPU 环境下优化大语言模型性能的方法，特别针对低端硬件（如老旧笔记本或无 GPU 的桌面设备）。我们将介绍 Ollama 的核心机制，分析其在 CPU 上的性能瓶颈，并提供一系列优化策略，包括模型选择、量化技术、线程管理以及缓存优化等。同时，本文通过大量代码示例和详细解释，展示如何在实践中实现这些优化，帮助读者在有限的硬件条件下仍能流畅运行大模型。无论是调整参数、利用多核

			
		

	





	

		

			

				
					
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！

				
			

			

				

					2301_81888214的博客
				

				

					02-13
					
					881
					
				

			

		

		

			
				
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！

			
		

	





	

		

			

				
					
ollama知识库集成化部署windows

				
			

			

				

					02-24
				

			

		

		

			
				
<think>好的，用户现在问的是关于在Windows上集成化部署Ollama的知识库。首先，我需要回顾之前的对话历史，看看用户之前的问题是什么。之前用户问的是模型微调，我详细介绍了模型微调的概念、方法、步骤以及工具，其中提到了Ollama作为本地部署的一个例子。现在用户转向了Ollama的知识库集成化部署，特别是在Windows环境下。

首先，我需要明确用户的需求。集成化部署可能意味着用户希望将Ollama与现有的知识库系统结合起来，比如将微调后的模型用于问答系统，或者与企业内部的数据库、文档系统连接。用户可能希望了解如何在Windows环境下配置和部署这样的解决方案。

接下来，我需要考虑用户可能的背景。之前的对话中用户对模型微调有基本了解，现在可能是在实际应用中遇到了部署的问题。用户可能有一定的技术背景，但可能对具体的工具和步骤不熟悉。他们可能是在企业中负责AI部署的工程师，或者个人开发者希望搭建本地AI应用。

然后，我需要确定回答的结构。可能需要包括以下几个部分：Ollama的简介，为什么要在Windows上部署，部署的准备工作，具体的集成化部署步骤（比如连接本地知识库、结合向量数据库、构建RAG系统等），优化和监控，以及注意事项和资源推荐。

需要确保回答的步骤清晰，适合Windows环境，并且考虑到用户可能遇到的常见问题，比如权限设置、性能优化等。同时，用户可能关心如何将Ollama与现有的知识库（比如SQL数据库、Elasticsearch、本地文档）整合，所以需要提供具体的配置示例和代码片段。

另外，用户可能对实际的应用场景感兴趣，比如智能客服、企业知识管理，所以举例说明这些场景会有帮助。还要注意提到的工具和资源，比如FAISS、LangChain、LlamaIndex，这些是常用的工具，需要简要介绍它们的作用，并提供链接或进一步学习的资源。

在注意事项部分，要提醒用户注意数据安全、性能监控、版本兼容性等问题，这些都是部署时常见的痛点。同时，考虑到Windows和Linux在部署上的差异，比如服务管理、路径设置等，可能需要特别说明。

最后，总结部分需要强调Ollama在本地部署的优势，如隐私保护、成本效益，以及集成化部署带来的智能化提升，帮助用户明确价值和下一步行动方向。</think>以下是在 **Windows 系统**上实现 **Ollama 知识库集成化部署**的详细介绍，涵盖从环境准备到实际落地的完整流程：

---

### 一、Ollama 与知识库集成化部署的核心概念
- **Ollama**：本地化运行大模型（如 Llama 3、Mistral）的工具，支持快速部署和微调。  
- **知识库集成化**：将模型与结构化/非结构化数据（如文档、数据库）结合，实现基于知识的问答（RAG）或分析。  
- **典型场景**：企业文档智能检索、私有化客服系统、个人知识管理工具。

---

### 二、Windows 部署前的准备工作
1. **硬件要求**  
   - CPU：≥4 核（推荐 Intel i5 或更高）  
   - 内存：≥16GB（知识库较大时需 32GB+）  
   - 显卡：可选（若有 NVIDIA GPU，可加速推理）  

2. **软件依赖**  
   - **Ollama for Windows**：[官方安装包](https://ollama.com/download)  
   - **Python 环境**：3.8+（推荐 Anaconda）  
   - **数据库工具**：SQLite（轻量级）、Elasticsearch（大规模检索）  
   - **向量数据库**：FAISS、Chroma（需 `pip install chromadb`）

3. **知识库数据格式**  
   - **结构化数据**：CSV、SQL 数据库表  
   - **非结构化数据**：PDF、Word、TXT 文档（需文本提取）  
   - **向量化要求**：文本需通过嵌入模型（如 `all-MiniLM-L6-v2`）转换为向量。

---

### 三、集成化部署步骤（以企业文档问答为例）

#### **步骤 1：部署 Ollama 服务**
1. 安装 Ollama for Windows（双击安装包自动完成）  
2. 启动服务（命令行执行）：
   ```bash
   ollama serve  # 默认端口 11434
   ```
3. 下载模型：
   ```bash
   ollama pull llama3  # 示例模型
   ```

#### **步骤 2：连接本地知识库**
1. **加载文档并向量化**（Python 示例）：
   ```python
   from langchain.document_loaders import DirectoryLoader
   from langchain.embeddings import OllamaEmbeddings

   # 加载本地文档（如 D:\docs）
   loader = DirectoryLoader('D:/docs', glob="**/*.txt")
   documents = loader.load()

   # 使用 Ollama 的嵌入模型生成向量
   embeddings = OllamaEmbeddings(base_url="http://localhost:11434", model="llama3")
   vectors = embeddings.embed_documents([doc.page_content for doc in documents])
   ```

2. **存储向量到数据库**（以 Chroma 为例）：
   ```python
   from langchain.vectorstores import Chroma

   # 持久化到本地（如 D:\vector_db）
   vectordb = Chroma.from_documents(
       documents=documents,
       embedding=embeddings,
       persist_directory="D:/vector_db"
   )
   ```

#### **步骤 3：构建 RAG 问答系统**
```python
from langchain.chains import RetrievalQA
from langchain.llms import Ollama

# 初始化 Ollama 模型
llm = Ollama(base_url="http://localhost:11434", model="llama3")

# 创建检索链
qa_chain = RetrievalQA.from_chain_type(
    llm,
    retriever=vectordb.as_retriever(search_kwargs={"k": 3}),
    chain_type="stuff"
)

# 执行问答
response = qa_chain.run("如何申请年假？")
print(response)
```

#### **步骤 4：封装为 API 服务（可选）**
使用 FastAPI 暴露接口：
```python
from fastapi import FastAPI
app = FastAPI()

@app.post("/ask")
def ask(question: str):
    return qa_chain.run(question)

# 运行：uvicorn main:app --host 0.0.0.0 --port 8000
```

---

### 四、优化与监控
1. **性能优化**  
   - 量化模型：使用 `ollama run llama3:8b-q4_0` 减少显存占用  
   - 并行处理：通过 `ollama serve --num-threads 4` 指定 CPU 线程数  
   - 缓存机制：对高频问题缓存答案（Redis 或内存缓存）

2. **资源监控**  
   - **Windows 任务管理器**：观察 CPU/内存占用  
   - **Prometheus + Grafana**（可选）：监控 API 响应时间和错误率

---

### 五、注意事项
1. **路径兼容性**  
   - Windows 路径使用反斜杠（如 `D:\data`），代码中需转换为双反斜杠或正斜杠（`D:/data`）

2. **安全加固**  
   - 限制 API 访问 IP（防火墙配置）  
   - 敏感知识库数据加密存储

3. **中文支持**  
   - 若需处理中文，建议微调模型或使用 `qwen` 等中文优化模型：
     ```bash
     ollama pull qwen:7b
     ```

---

### 六、典型部署架构
```
用户界面（Web/APP）
   ↓ HTTP 请求
FastAPI 服务（localhost:8000）
   ↓ 调用
Ollama 模型（localhost:11434）
   ↓ 检索
向量数据库（Chroma/FAISS）
   ↑ 数据源
本地知识库（D:\docs）
```

---

### 七、推荐工具扩展
- **检索增强**：LlamaIndex（优化知识检索逻辑）  
- **自动化处理**：Apache NiFi（文档预处理流水线）  
- **容器化部署**：Docker Desktop for Windows（可选）

---

通过以上步骤，可在 Windows 系统上实现 Ollama 与知识库的低成本集成化部署，适用于企业内部知识管理、智能客服等场景，同时保障数据隐私。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值