Windows 10 GPU STACK 0.5.1 安装

原创已于 2025-02-24 21:12:13 修改

· 1.2k 阅读

7 ·

版权

文章标签：

#windows #GPUStack #deepseek #本地化部署 #分布式 #AIGC #大模型

于 2025-02-24 15:41:36 首次发布

AIGC 大模型专栏收录该内容

2 篇文章

订阅专栏

Windows 10 GPU STACK 0.5.1 安装

1 GPUStack 安装
2.试验场聊天测试
- 1.对话模式
3.API Key 测试

1 GPUStack 安装

1.Python安装（3.10/11/12）

默认已安装，查看版本

python --version
pip --version

在这里插入图片描述

安装和初始化 PIPX

python -m pip install --user pipx
python -m pipx ensurepath

在这里插入图片描述

升级 PIP（谨慎操作）

python.exe -m pip install --upgrade pip

2.GPUStack 下载

Invoke-Expression (Invoke-WebRequest -Uri "https://get.gpustack.ai" -UseBasicParsing).Content

查看版本

gpustack version

在这里插入图片描述

3.生成密码

## Ab!123456
Get-Content -Path "$env:APPDATA\gpustack\initial_admin_password" -Raw

此密码可以直接使用，或者生成后修改为自己的密码

4.访问

http://localhost/

在这里插入图片描述

5.设置模型下载目录

查看源代码，找到如下位置，可通过设置环境变量值为 GPUStack 指定部分配置
在这里插入图片描述

新建一个空白文件夹，并配置系统环境变量，GPUSTACK_CACHE_DIR

在这里插入图片描述
查看是否生效

在这里插入图片描述

6.禁用开机自启并重启服务

打开 Windows 的服务管理页面

在这里插入图片描述

7.安装模型

以 DeepSeek-R1 1.5B 为例

在这里插入图片描述

8.查看安装的进度

模型列表

在这里插入图片描述

2.试验场聊天测试

1.对话模式

在这里插入图片描述

3.API Key 测试

新建一个 KEY

在这里插入图片描述

复制值：gpustack_005232ef37c19bbc_b4f2650cbba8fa9ca538f78d508ae102

在这里插入图片描述

调用，设置请求头和参数

在这里插入图片描述

请求头

Authorization Bearer gpustack_005232ef37c19bbc_b4f2650cbba8fa9ca538f78d508ae102

请求体

{
    "model": "deepseek-r1-1.5b",
    "messages":
    [
        {
            "role": "user",
            "content": "你好吗?"
        }
    ]
}

返回值

{
	"id": "chatcmpl-jeoUHK3mBIFLaU6E4tQ7OVRHygBJcHtr",
	"created": 1740382427,
	"model": "deepseek-r1-1.5b",
	"object": "chat.completion",
	"choices": [
		{
			"index": 0,
			"finish_reason": "stop",
			"message": {
				"content": "<think>\n\n</think>\n\n你好！—I'm just here to help you out! What do you need to talk about or ask? 😊",
				"role": "assistant"
			},
			"logprobs": null
		}
	],
	"usage": {
		"completion_tokens": 28,
		"prompt_tokens": 6,
		"total_tokens": 34,
		"time_to_first_token_ms": 127.332,
		"time_per_output_token_ms": 7.058928571428572,
		"tokens_per_second": 141.6645585631166
	}
}