Refact项目自托管服务v1.4.0版本推理超时问题分析与解决方案

Refact项目自托管服务v1.4.0版本推理超时问题分析与解决方案

refact WebUI for Fine-Tuning and Self-hosting of Open-Source Large Language Models for Coding 项目地址: https://gitcode.com/gh_mirrors/re/refact

问题背景

在Refact项目的自托管环境中，用户升级到v1.4.0版本后遇到了推理服务无法正常工作的问题。具体表现为VSCode插件无法从本地服务器获取推理结果，日志中持续显示"WAIT"超时信息。

问题现象分析

从日志中可以观察到以下关键信息：

1. 服务持续收到来自127.0.0.1的POST请求，路径为/infengine-v1/completions-wait-batch
2. 每个请求的处理时间大约在10秒左右（10004ms）
3. 所有请求最终都以"WAIT"状态结束，没有成功完成推理

技术排查过程

经过深入分析，发现问题实际上并非由Refact主服务引起。核心问题在于：

1. VSCode插件未能正确启动refact-lsp进程
2. 由于LSP（语言服务器协议）进程没有运行，导致客户端无法与推理服务建立有效连接
3. 服务端虽然接收到了请求，但由于客户端连接问题，最终只能返回超时状态

解决方案

针对这一问题，可以采用以下两种解决方法：

方法一：手动启动LSP进程

1. 通过命令行手动启动refact-lsp进程：

refact-lsp --address-url https://your-server:8008/ --http-port 8001 --lsp-port 8002 --logs-stderr

2. 在VSCode设置中配置以下参数：

{
    "refactai.pauseCompletion": false,
    "refactai.codeCompletionModel": "deepseek-coder/5.7b/mqa-base",
    "refactai.insecureSSL": true,
    "refactai.xDebug": true,
    "refactai.addressURL": "https://your-server:8008/",
    "refactai.apiKey": "any-will-work-for-local-server"
}

方法二：调试VSCode插件

1. 检查VSCode插件是否正确安装
2. 查看插件日志，确认refact-lsp进程是否被启动
3. 检查端口904x是否被正确监听
4. 确保没有防火墙或安全软件阻止相关端口的通信

相关技术扩展

Refact-LSP的作用

Refact-LSP（语言服务器协议）是Refact项目中的重要组件，它负责：

• 在编辑器和推理服务之间建立桥梁
• 处理代码补全请求
• 管理对话上下文
• 提供调试接口

多GPU支持说明

虽然当前版本的微调功能仅支持单GPU（cuda:0设备），但对于希望实现分布式训练的用户，可以考虑以下方向：

1. 使用模型并行技术将模型拆分到多个GPU
2. 实现数据并行处理以加速训练
3. 探索梯度累积等优化技术

总结

Refact项目的自托管服务在v1.4.0版本中表现稳定，大多数情况下出现的推理超时问题实际上源于客户端连接配置。通过正确配置LSP服务或调试VSCode插件，用户可以轻松解决这一问题。对于需要更高性能训练的用户，可以考虑参与项目贡献，实现多GPU支持功能。

refact WebUI for Fine-Tuning and Self-hosting of Open-Source Large Language Models for Coding 项目地址: https://gitcode.com/gh_mirrors/re/refact