本地部署 OpenManus 保姆级教程(Windows 版)

一、环境搭建

我的电脑是Windows 10版本,其他的没尝试,如果大家系统和我的不一致,请自行判断,基本上没什么大的出入啊。
openManus的Git地址:https://github.com/mannaandpoem/OpenManus
根据官网的两种安装推荐方式如下:
在这里插入图片描述
这里我使用第一只方式,虽然推荐了使用UV,但是我使用过,就不用第二种方式。

二、Anaconda下载

我电脑上没有安装:Anaconda,那就一并安装一下吧
这里推荐两种下载方式一是官网下载,二是镜像下载;官网下载太慢可选用镜像下载。

官网下载:https://www.anaconda.com/products/distribution
在这里插入图片描述
镜像下载:https://mirrors.bfsu.edu.cn/anaconda/archive/
在这里插入图片描述
我这里选择了Anaconda3-5.3.1-Windows-x86_64.exe这个镜像版本,大家随意啊。
具体Anaconda如何安装的,大家自行搜索啊,这里就不赘述了。

三、核心组件安装

为了方便不知道如何安装的,我也偷懒一下,也是直接使用deepseek帮我搞一下:
在这里插入图片描述

https://github.com/mannaandpoem/OpenManus
我在学习如何使用open-manus,但是下面的安装步骤,是在linux中运行的,我的电脑是window10 ,请把下面的操作步骤换成windows10中的步骤,让我一目了然
使用 conda
创建一个新的 conda 环境:
conda create -n open_manus python=3.12
conda activate open_manus
克隆存储库:
git clone https://github.com/mannaandpoem/OpenManus.git
cd OpenManus
安装依赖项:
pip install -r requirements.txt

为了方便大家快速搭建,直接贴了我的提示词,运行结果如下:

以下是为 Windows 10 系统适配的详细步骤(使用 Anaconda):

1. 安装前置工具
- 确保已安装 [Git for Windows](https://git-scm.com/download/win)
- 确保已安装 [Miniconda 或 Anaconda](https://docs.conda.io/en/latest/miniconda.html)

2. 打开 Anaconda Prompt(推荐)或 PowerShell

3. 创建 conda 环境
```powershell
conda create -n open_manus python=3.12 -y
conda activate open_manus
  1. 克隆仓库
git clone https://github.com/mannaandpoem/OpenManus.git
cd OpenManus
  1. 安装依赖
pip install -r requirements.txt

常见问题解决方案:

  1. 如果遇到环境激活问题:

    • 在 PowerShell 中首次使用需执行:conda init powershell
    • 关闭后重新打开终端
  2. 如果缺少 C++ 编译工具(安装某些包时报错):
    安装 Microsoft C++ Build Tools

  3. 如果 Python 3.12 不可用:

    conda create -n open_manus python=3.11
    
  4. 替代克隆方式(如果 git 不可用):
    直接下载 ZIP:https://github.com/mannaandpoem/OpenManus/archive/refs/heads/main.zip
    解压后进入目录执行后续步骤

至此已经本地已经安装完毕了。

四、服务配置与连接

在这里插入图片描述
找到Config文件夹,进去,重新复制一份config.toml文件
在这里插入图片描述
这里替换config文件配置:

# Global LLM configuration
[llm]
model = "Qwen/QwQ-32B" 
base_url = "https://api.siliconflow.cn/v1"
api_key = "这里写你自己的Key"
max_tokens = 16384
temperature = 0.6

# Optional configuration for specific LLM models
[llm.vision]
model = "Qwen/Qwen2-VL-72B-Instruct" 
base_url = "https://api.siliconflow.cn/v1"
api_key = "这里写你自己的Key"

这里我使用的硅基流动Key,他们家刚好有活动,注册就送你2000万Tokens,我们这边测试用,完全够了,薅羊毛地址是:https://cloud.siliconflow.cn/i/pCa1dBVX
大家有其他的Key,也是可以用,随自己的意愿。

配置完毕之后,接下来就是运行main.py
在这里插入图片描述
至此,流程基本已经开始跑起来了。

五、前端页面

由于是控制台我不喜欢,然后我又用deepseek帮我制作了html页面,便于我页面处理:
在这里插入图片描述
这里就写了2个文件
在这里插入图片描述
在这里插入图片描述

主要两个文件:app.py和templates/index.html
两个文件的详细代码如下:
app.py:

from flask import Flask, Response, request, jsonify, render_template
from flask_cors import CORS
import subprocess
import sys
import os
import signal
import threading

app = Flask(__name__)
CORS(app, resources={
   r"/*": {
   "origins": "*"}})

# 进程管理
process_lock = threading.Lock()
current_process = None

@app.route('/')
def index():
    return render_template('index.html')

@app.route('/stream', methods=['GET', 'POST', 'OPTIONS'])
def stream_execute():
    global current_process
    
    # 处理预检请求
    if request.method == 'OPTIONS':
        return _build_preflight_response()
    
    # 获取输入内容
    idea = request.json.get('idea', '') if request.method == 'POST' else request.args.get('idea', '')
    if not idea:
        return Response("data: 错误:未提供输入\n\n", mimetype='text/event-stream')
    
    # 终止已有进程
    with process_lock:
        if current_process and current_process.poll() is None:
            current_process
<think>嗯,用户想要在Windows本地部署DeepSeek的保姆教程。首先,我需要确认DeepSeek具体指的是什么。因为DeepSeek可能有不同的应用,比如是深度学习框架、某个特定项目,还是公司提供的工具。假设这里指的是深度求索公司的某个AI模型,比如类似ChatGPT的大语言模型。这时候,我需要考虑用户可能的需求:他们可能想在自己的Windows电脑上部署一个类似ChatGPT的本地模型,用于开发或测试。 接下来,用户可能对技术不太熟悉,所以教程必须详细,每一步都要清晰。需要分步骤讲解,包括环境准备、依赖安装、模型下载、配置和运行测试。同时,用户可能遇到的问题,比如Python环境配置、GPU支持、模型文件过大等,需要提前预警并提供解决方案。 首先,安装Python环境。推荐使用Anaconda,因为它能方便地管理虚拟环境。要指导用户下载安装,并创建专用环境。然后安装PyTorch,这里需要注意CUDA本,如果用户有NVIDIA显卡,可以加速计算,否则只能用CPU本,但速度会慢很多。需要判断用户是否有GPU,但教程里应该涵盖两种情况。 然后,模型下载。可能涉及到Hugging Face平台,需要指导用户注册账号,安装git-lfs,下载模型文件。这里可能会有网络问题,国内用户可能需要镜像或者代理,可能需要提示。另外,模型文件通常很大,需要足够的存储空间,比如几十GB,这点要提醒用户。 接下来是代码部分,可能需要从GitHub克隆项目,安装依赖库,比如transformers、torch等。需要检查代码示例是否正确,比如使用AutoModelForCausalLM和AutoTokenizer加载模型,并编写推理代码。注意提醒用户替换模型路径,并根据显存调整batch_size和max_length。 运行部分,可能会遇到内存不足的问题,尤其是没有GPU的用户。需要建议他们使用较小的模型或者减少输入长度。此外,可能存在的错误如缺少库,需要提示安装。 最后,优化和常见问题,比如量化、使用GPU技巧,以及回答可能的疑问,比如是否需要互联网连接,模型是否能微调等。 需要确保教程用词简单,避免专业术语过多,步骤明确,适合新手。同时,检查是否有遗漏的步骤,比如git-lfs的安装,环境变量的设置,或者权限问题。可能还需要提供示例代码,确保用户能直接复制粘贴,并验证代码的正确性。 总结,整个教程需要从环境准备开始,逐步引导用户完成每个步骤,预见到常见问题并给出解决方案,确保用户即使遇到问题也能找到解决办法。同时,提醒用户注意硬件需求和下载时间,避免中途放弃。</think>以下是在 **Windows 系统本地部署 DeepSeek 模型(如 DeepSeek-R1 或类似大语言模型)的详细步骤教程,适合新手操作**: --- ### **一、环境准备** 1. **安装 Python** - 访问 [Python官网](https://www.python.org/downloads/),下载最新 **Python 3.10+**。 - 安装时勾选 `Add Python to PATH`,确保环境变量配置正确。 - 验证安装:打开命令提示符(CMD),输入 `python --version`,显示本号即成功。 2. **安装 CUDA 和 cuDNN(仅限NVIDIA显卡用户)** - 如果有NVIDIA显卡,安装 **CUDA Toolkit 11.8** 和对应本的 **cuDNN**(加速GPU推理)。 - 参考NVIDIA官方教程配置:[CUDA安装指南](https://developer.nvidia.com/cuda-toolkit)。 3. **安装 Git 和 Git LFS** - 下载 [Git for Windows](https://git-scm.com/download/win),安装时全部默认选项。 - 安装后打开CMD,运行命令安装Git LFS(用于下载大模型文件): ```bash git lfs install ``` --- ### **二、获取模型文件** 1. **从Hugging Face下载模型** - 访问DeepSeek官方HF仓库(如 [deepseek-ai/deepseek-llm-7b-chat](https://huggingface.co/deepseek-ai))。 - 点击“Clone repository”复制模型地址(需注册HF账号并登录)。 - 在本地文件夹打开CMD,运行: ```bash git clone https://huggingface.co/deepseek-ai/deepseek-llm-7b-chat ``` - 等待下载完成(模型可能超过20GB,确保磁盘空间充足)。 2. **备选方案:国内镜像加速** - 如果下载慢,可使用[魔搭社区(ModelScope)](https://modelscope.cn/models?search=deepseek)或代理工具。 --- ### **三、创建Python虚拟环境** 1. **使用conda创建环境(推荐)** ```bash conda create -n deepseek python=3.10 conda activate deepseek ``` 2. **安装PyTorch** - 根据CUDA本选择命令(无GPU则用CPU本): ```bash # CUDA 11.8 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 仅CPU pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu ``` 3. **安装依赖库** ```bash pip install transformers sentencepiece accelerate huggingface_hub ``` --- ### **四、编写推理代码** 1. **创建 `run.py` 文件** ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_path = "D:/deepseek-llm-7b-chat" # 替换为你的模型路径 tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True) prompt = "你好,请介绍一下你自己。" inputs = tokenizer(prompt, return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_new_tokens=100) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` 2. **调整参数(可选)** - 显存不足时,在 `from_pretrained` 中添加参数:`load_in_4bit=True`(4位量化)或 `load_in_8bit=True`。 --- ### **五、运行模型** 1. **启动推理** ```bash python run.py ``` - 首次运行会自动加载模型,可能需要等待数分钟。 - 如果显存不足,尝试减少 `max_new_tokens` 或使用更小模型(如1.3B本)。 --- ### **六、常见问题** 1. **CUDA内存不足** - 使用CPU运行:修改代码中的 `device_map="cpu"`。 - 启用量化(需安装 `bitsandbytes` 库): ```bash pip install bitsandbytes ``` 2. **模型加载失败** - 检查模型路径是否正确,确保所有模型文件已下载完整(尤其是`.bin`和`.json`文件)。 3. **网络问题** - 国内用户可使用镜像源加速下载: ```bash pip install -i https://pypi.tuna.tsinghua.edu.cn/simple [包名] ``` --- ### **七、进阶优化** - **使用vLLM加速推理**(需GPU): ```bash pip install vllm from vllm import LLM, SamplingParams llm = LLM(model=model_path) ``` - **Web界面交互**: 部署类似 [text-generation-webui](https://github.com/oobabooga/text-generation-webui) 的交互式界面。 --- 通过以上步骤,你可以在Windows本地成功运行DeepSeek模型。如果遇到问题,建议查阅模型官方文档或社区讨论(如Hugging Face、GitHub Issues)。
评论 23
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xiatian_win123

您的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值