怎么优雅的在GPUStack上使用minerU?

MinerU 2.0部署 MinerU 2.0使用sglang加速的部署指南 本文介绍了MinerU 2.0基于sglang的两种部署方式。提供了优化的Dockerfile构建方案,通过缓存机制提升构建速度并精简模型下载内容。详细说明了Docker运行命令和docker-compose配置选项,包括GPU设置、端口映射等参数。最后给出了Python测试代码示例,展示如何调用sglang服务进行PDF文档分析处理。部署方案支持多GPU并行模式,可根据显存情况调整Tensor Parallel配置,同时提供了性能监控和健康检查机制。 阅读详情

如果你搞过 AI 知识库,那你一定听过 MinerU 的大名。这家伙专治各种不服——哦不,专治各种复杂的 PDF 文档,甭管是密密麻麻的公式还是乱七八糟的表格,它都能精准地转成 Markdown 格式。在 AI 知识库里,海量的 PDF 嗷嗷待哺,等着被转成 MD 喂进去呢。

官方提供了minerU的推理文档,但遗憾的是,它并不直接支持 MinerU 的fast api模式。访问minerU的官网可以看到,MinerU 官方其实提供了 Fast API 接口——直接上传 PDF、提交解析任务、然后异步拿结果,一条龙服务。之前集团里很多应用都是基于这套接口开发的,用起来那叫一个香。

fig1

如果 GPustack 也能接入这个 Fast API 接口,那下游服务迁移的时候就不用大动干戈了,美滋滋。

那咱们就来盘一盘怎么搞。

1.添加推理后端

先在机器上拉取 MinerU 的官方镜像,本文演示的镜像是 mineru:3.1.11 在【推理后端】中点击添加后端

fig1

fig1

默认命令走起,直接启动 MinerU 的 API 模式

mineru-api --host 0.0.0.0 --port {{port}} --allow-public-http-client

版本号中配置对应的镜像名称

fig1

2.启动镜像

那么接下来就来启动minerU

在部署中点击本地路径

模型路径就是用/tmp 占位 推理后端一定要选择自定义的minerU版本

fig1

fig1

千万记得启用通用代理!后面有大用

接下来就是激动人心的等待环节——看 MinerU 服务启动完成~

fig1

3.访问服务

这时候,GPustack 平台提供的「通用代理」功能就派上用场了

fig1

那么问题来了:这个模型的路由 ID 是多少呢?别慌,调一下 GPustack 这个接口就能查到

fig1

{
  "items": [
    {
      "id": 48,
      "created_at": "2026-07-01T08:04:41.971882Z",
      "updated_at": "2026-07-01T08:44:55.594322Z",
      "weight": 100,
      "model_id": 38,
      "name": "minerU-api-deployment",
      "route_name": "minerU-api",
      "route_id": 41,
      "state": "active"
    },

从返回的结果来看 minerU-api 的路由id 是 41 那么现在就可以请求模型啦~~~

口说无凭,咱们来写个 Python 脚本调一下试试

import requests
import json
import os
import time
from typing import List

# ================= 配置区域 =================
# 文件解析接口 (保持不变)
PARSE_URL = "XXXXX/model/proxy/41/file_parse"
# API 鉴权,从环境变量读取 GPUSTACK_API_KEY
API_KEY = "gpustack_XXXXXXX"

# ===========================================

# 文件解析相关函数保持不变
def parse_file(file_path, output_file):
    """
    调用 file_parse 接口解析文件
    """
    # 与 curl 一致的 form 参数
    data = {
        "return_middle_json": "false",
        "return_model_output": "false",
        "return_md": "true",
        "return_images": "false",
        "end_page_id": "99999",
        "parse_method": "auto",
        "start_page_id": "0",
        "lang_list": "ch",
        "output_dir": "./output",
        "return_content_list": "false",
        "backend": "vlm-engine",
        "table_enable": "true",
        "formula_enable": "true"
    }

    files = {"files": open(file_path, "rb")}

    headers = {}
    if API_KEY:
        headers["Authorization"] = f"Bearer {API_KEY}"

    try:
        response = requests.post(PARSE_URL, data=data, files=files, headers=headers)
        print(f"状态码: {response.status_code}")
        print(f"响应体: {response.text[:1000]}")
        response.raise_for_status()
        # 尝试解析 JSON
        try:
            result = response.json()
        except ValueError:
            result = {"raw_text": response.text}

        with open(output_file, "w", encoding="utf-8") as f:
            json.dump(result, f, ensure_ascii=False, indent=2)

        print(f"解析成功: {file_path} -> {output_file}")
        return result
    except Exception as e:
        print(f"解析失败: {file_path}, 错误: {e}")
        return None
    finally:
        files["files"].close()

# ================= 主程序 =================
if __name__ == "__main__":
    # 输入文件
    input_pdf = r"C:/Users/XXXXXX.pdf"
    # 输出文件
    output_json = os.path.join(os.path.dirname(__file__), "output", "1.json")

    # 确保输出目录存在
    os.makedirs(os.path.dirname(output_json), exist_ok=True)

    print(f"开始解析: {input_pdf}")
    result = parse_file(input_pdf, output_json)

瞅一眼日志,可以看到 MinerU API 模型已经顺利拿到了请求

fig1

fig1

那么问题又来了:更进一步,能不能把自定义的业务服务也挂载到 GPustack 上呢?

fig1

嘿嘿,那就留到下一期再聊吧,敬请期待~

About GPUStack

GPUStack 是由 GPUStack.ai 所推出的开源项目。GPUStack.ai 成立于2022年,是 AI Infra 解决方案提供商,目前已完成5300万元种子轮融资。创始团队成员均来自业界应用广泛的 Kubernetes 管理平台 Rancher 的核心团队。其中,联合创始人及 CTO 梁胜博士是前 SUSE 全球工程及创新总裁,加入 SUSE 之前,梁胜博士于2014年9月创立全球著名的容器管理平台公司 Rancher Labs 并担任 CEO。

我们的愿景是赋能企业可以在任意环境使用人工智能以实现业务的卓越运营。GPUStack 是实现这一目标的重要一步。

使用 GPUStack 迅速搭建你的专属 MaaS 平台!开始在本地快速构建 GPU 集群,运行和使用各种 AI 模型,赋能您的 AI 应用。

c语言压力变送器程序设计,基于单片机的压力变送器设计 基于单片机的压力变送器设计(任务书,开题报告,外文翻译,论文15000字,代码)摘要随着工业化水平的不断提高,新型智能仪表在工业生产过程中运用也越来越广泛,同时对输出数据的准确检测和处理也变得至关重要。生产过程的运行和设备安全是极其重要的,那么如何实现对其精确的检测呢?众所周知,在工业生产过程中有一个很重要参数——压力,显然这个参数是一个必不可少的条件。故而,研究智能压力变松器系统对工业生产有着不... 阅读详情

相关推荐

超10万,两台Mac Studio在家就能跑满血DeepSeek,网友:这是性价比最高的大模型一体机

在AI计算领域,没有比这更强的个人电脑了。这要从它的架构说起。对于那些有本地部署满血版DeepSeek需求的用户,目前建议的配置是选购512GB统一内存 + 1TB SSD,搭载M3 Ultra芯片的Mac Studio,官网售价74249元,可以叠加国补、教育优惠、12期分期等,这可能是目前门槛最低、性价比最高的满血版DeepSeek本地部署方案。对于企业而言,尽管Mac Studio确实可以部署6000亿参数的大模型,但在内存带宽、模型精调服务等方面,跟专用的大模型一体机仍有差距,采购需要谨慎评估。

2501_90444774的博客 1915

GPUStack 自定义后端系列 | MinerU:打造超强 PDF 文档解析服务

GPUStack v2 自定义后端功能实战!本文以 MinerU 为例,手把手教你快速接入并运行超强 PDF 解析工具,轻松构建私有化文档提取服务。

GPUStack的博客 1255

小华半导体HC32芯片开发使用说明

HC32F/L系列MCU在Keil MDK和IAR Workbench环境下通过工程样例进行软件开发。

小布的芯视角 5628

使用 GPUStack 高效管理 vLLM 和 SGLang 推理服务与生产化运维(中)

GPUStack 支持接入官方及自定义推理镜像,以满足不同版本的 vLLM 和 SGLang 后端部署需求。中使用自定义 vLLM 后端版本 0.15.0-custom 部署模型,本次测试选择。以下示例展示如何在沐曦 GPU 上接入官方镜像并部署自定义版本模型。3. 部署完成后,可在试验场进行模型对话测试,确认推理服务正常运行。,编辑后端并添加新版本,使用沐曦官方 vLLM 镜像。1. 在 GPUStack 控制台中进入。3.1 自定义 vLLM 后端部署。3. 官方与自定义推理镜像接入。

WUYOUGYLU的博客 143

从隐私保护到生命守护:CPD技术中的传感器选择与权衡

本文探讨了智能座舱中儿童存在检测(CPD)技术的传感器选择与隐私保护平衡策略。通过分析毫米波雷达、UWB等先进技术的性能与隐私风险,揭示了如何在确保儿童安全的同时保护用户隐私。文章还展望了CPD技术与座舱生态系统的未来融合趋势,为汽车安全领域提供了重要参考。

weixin_29159441的博客 301

【个人学习总结】CRC校验原理及实现

CRC即循环冗余校验码(Cyclic Redundancy Check):是数据通信领域中最常用的一种查错校验码,其特征是信息字段和校验字段的长度可以任意选定。循环冗余检查(CRC)是一种数据传输检错功能,对数据进行多项式计算,并将得到的结果附在帧的后面,接收设备也执行类似的算法,以保证数据传输的正确性和完整性。 ..................

星Yeah 的博客 7967

MinerU怎么调用GPU?device-mode配置步骤详解

本文介绍了基于星图GPU平台自动化部署MinerU 2.5-1.2B 深度学习 PDF 提取镜像的完整流程。该镜像支持通过配置device-mode参数调用GPU加速,显著提升复杂PDF文档的解析效率。典型应用场景包括科研文献、技术手册等多栏文本与公式表格的高保真结构化提取,适用于AI驱动的文档智能处理与知识库构建。

weixin_29041443的博客 782

解决:请求的资源[/xxx/]不可用 描述 源服务器未能找到目标资源的表示或者是不愿公开一个已经存在的资源表示。

解决:请求的资源[/xxx/]不可用 描述 源服务器未能找到目标资源的表示或者是不愿公开一个已经存在的资源表示。

念兮为美 1万+

MinerU 文档解析避坑指南:从装环境到调结果的 10 个高频报错与修复路径

MinerU 把 PDF、图片以及 DOCX、PPTX、XLSX 这类办公文档解析成 LLM 可直接使用的 Markdown 和 JSON。它默认走 hybrid 后端,兼顾速度与质量,但也因此踩坑点分散在装环境、下模型、调显存、对结果四个环节里。这篇文章按"装 → 下模型 → 跑 → 看结果"的顺序,只收每段路上最高频的报错,每个坑给根因和验证方法,照着走基本能解决 90% 的问题。 ## 装

gitblog_00703的博客 823

ParaView: 从 2 或 3 个标量创建向量

ParaView: 从 2 或 3 个标量创建向量

希望我的博客,能帮上你解决学习中工作中所遇到的问题 583

如何使用 Python 爬虫获取猫眼电影数据:电影评分与评论分析

随着互联网的快速发展,越来越多的人开始使用各种在线平台来了解电影信息,猫眼电影作为一个非常流行的在线电影票务平台,提供了详细的电影评分、评论和票房数据。本篇博客将详细介绍如何使用 Python 爬虫技术获取猫眼电影平台上的电影数据,重点关注电影评分和用户评论的爬取,分析其背后的数据处理和反爬虫技术。如果你对数据分析、电影评论分析等话题感兴趣,可以根据本文的示例进一步深入挖掘更多的数据,为决策提供支持,或为电影产业的相关研究提供有价值的分析依据。有些猫眼电影的页面数据是动态加载的,使用。

2201_76125261的博客 1622

GTE-Chinese-Large效果展示:医疗问诊文本语义检索Top3准确率92%实测

本文介绍了GTE-Chinese-Large模型在医疗文本语义检索中的卓越表现,其Top3准确率达92%。用户可在星图GPU平台上自动化部署nlp_gte_sentence-embedding_chinese-large镜像,快速构建智能语义检索系统,应用于企业知识库问答、智能客服等场景,实现从关键词匹配到深度语义理解的跨越。

weixin_33816734的博客 356

【VxWorks】Vxworks、QNX、Xenomai、Intime、Sylixos、Ucos等实时操作系统的性能特点

VxWorks 操作系统是美国WindRiver公司于1983年设计开发的一种嵌入式实时操作系统,是嵌入式开发环境的关键组成部分。其内核支持多任务调度(采用基于优先级抢占方式,同时支持同优先级任务间的分时间片调度)、任务间的同步、进程间通信机制、中断处理、定时器和内存管理机制等,且提供了一个快速灵活的与 ANSIC 兼容的 I/O 系统,网络支持 对其它VxWorks系统和TCP/IP网络系统的"透明"访问。具有良好的持续发展能力、良好的可靠性、卓越的实时性和高性能的内核以及友好的用户开发环境。

smartvxworks的博客 1064

MinerU 2.5-1.2B快速体验:三分钟完成首次提取任务

本文介绍了如何在星图GPU平台上自动化部署MinerU 2.5-1.2B 深度学习 PDF 提取镜像,实现学术论文等复杂PDF的高精度结构化提取。用户可快速获得含完整公式、对齐表格和原位图片的Markdown文件,适用于科研文献整理、技术文档数字化等典型场景。

weixin_33480380的博客 387

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

MinerU开源大模型企业级部署:高可用+负载均衡+日志审计完整方案

本文介绍了如何在星图GPU平台上自动化部署MinerU智能文档理解服务镜像,构建高可用的企业级文档处理系统。该方案通过负载均衡与多实例集群,确保服务稳定运行,可高效应用于自动解析PDF报告、财务报表等复杂文档,实现非结构化信息的智能提取与分析。

weixin_42465140的博客 368

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

6 款电商 AI 图片生成软件实测|国内 + 跨境卖家工具清单

电商 AI 作图工具已经从 "能不能用" 进入了 "好不好用" 的阶段。对于绝大多数卖家而言,现在的 AI 工具已经可以覆盖 60%-80% 的基础商品图需求,显著降低拍摄和设计成本。选择工具的核心逻辑不是 "哪款最强",而是 "哪款最适配你的品类、平台规模和团队能力"。垂直电商工具胜在工作流效率,通用生图工具强在创意上限,模板类工具赢在上手速度。建议根据自身业务阶段,搭配 1-2 款主力工具 + 1 款辅助工具,形成适合自己的视觉生产流程。

Mardi_Ladin的博客 326

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

视频隐私脱敏工程化:CSRT/KCF追踪算法在本地推理中的实现与边界

在短视频内容合规审查中,动态遮挡(Dynamic Masking)是高频且高耗时的环节。传统手动关键帧打码不仅效率低下,且在目标快速移动或遮挡时极易出现遮罩漂移。本文从计算机视觉工程角度,解析基于CSRT与KCF算法的目标追踪方案在视频隐私处理中的技术路径、性能权衡及落地实践。

Mysssone的博客 171

我用 GPUWorks 在 M1 Pro 上搭了个发票识别原型

公司里经常要看电子发票。我想先做个小原型:把 PDF 发给一个自己部署的图文模型,让它提取发票类型、日期、交易双方和金额,再把结果交给同事核对。这个原型不用先接财务系统,先看看从部署到调用要走多少步,模型返回的内容能不能帮上忙。

鸽芷咕的博客 1万+

医疗 AI 有两种,别混着谈:一个改流程,一个改范式

InfoXMed 是面向医生、医学生和医学科研人员的 AI 医学工具平台,提供文献检索、全文翻译、AI 解读、指南查询和题库练习等功能,辅助临床学习、科研汇报与医学备考。原文是日本医学会杂志(JMA Journal)的一篇综述(Review Article):基本事实:这一点必须先说清:这篇论文提出的是一个研究纲领。它文中的"预测"指的是科学设想,不是可以拿来用的临床预测能力。文中甚至自己承认了一个硬缺口(见第三节)。本文只谈它的术语辨析与科学方法论,不转述任何可作为临床依据的预测或处置主张。这篇论文的全部

2601_96948740的博客 217

在Codex 让AI模型 拥有长期智能记忆

本文介绍Claude-Mem V15新功能——智能记忆召回,解决AI遗忘、重复提示、执行不一致等问题。通过本地部署claude-mem,实现自动记录决策(如数据库选型)、跨会话智能召回,支持记忆写入、检索、遗忘全流程闭环。相比传统记忆方案,其基于Hooks自动捕获工具调用,结构化存储,可追溯、可共享、可清理,显著提升工程效率与协作一致性,是长期项目中理想的“工作黑匣子”与“工程脑”。

米莱虾 264

您您这可以把问小白的多个会话比如说。左侧的多个会话一次性导出吗?不是单条会话里面的多次会对话。AI导出鸭

第三层是格式编译层。这个决策背后的判断很清晰:一个批量导出工具的价值,不在于“试三次”,而在于你真正用它处理了几十份技术文档、访谈记录或课程讲义之后,它是否值得留在你的工作流里。问小白的会话列表通过分页接口加载,AI导出鸭 在页面运行时建立旁路监听,捕获每一次分页请求返回的完整对话清单,包括会话 ID、标题、时间戳和隐藏的元数据字段。让AI导出回归优雅——这句话说的是:导出不该是体力活,而应该是一次完整的、可预期的文件交付。注意:这里的“批量”指的是左侧列表里的多个独立会话,不是一条会话内的多轮对话。

laoyunsi的博客 227

河道漂浮物目标检测数据集

目标检测,yolo,河道漂浮物目标检测数据集

DL_data_set的博客 183

AI Agent之核心框架

A: 显式 Thought 有三类价值:可解释性(便于人类审计)、可调试性(定位哪一步选错工具)、学习信号(可做监督微调或评估中间步骤质量)。ReAct 把推理与 可执行行动 绑定,每一步行动后都有 真实 Observation 反馈,从而用工具结果约束生成,降低闭卷幻觉。做完不等于结束——还要 评估做得好不好,把 教训 记下来,下次 带着教训重试,反思作为 记忆,影响后续尝试的策略。工作流程:Action → Evaluation → Reflection → Retry。A: 普通 CoT 只在。

剑雨巍巍的博客 184

AI 应用开发工程师技术实践:大模型接入、通用组件封装与性能优化

本文提出AI应用从PoC到生产的核心挑战:模型调用的持续可用、可控与可优化。通过构建统一LLM网关实现多供应商路由与故障转移,封装对话、工具调用与RAG组件以解耦业务逻辑,结合前缀缓存、批处理与流式背压治理等性能优化手段,形成“接通→接稳→接快”的工程路径,最终以工程化能力决定AI应用的生产可用性。

2301_79189962的博客 534

大模型 Embedding 与向量相似度详解

Embedding 解决的问题:计算机不懂文字,但懂数字│▼文本 → 向量(1024维浮点数数组)│▼相似度解决的问题:怎么判断两个向量(文本)有多接近│▼余弦相似度:看向量方向的夹角,越接近0°越相似│▼最终效果:语义搜索——理解意思,而非字面匹配一句话总结:Embedding 把文字变成数字,余弦相似度比较数字的方向,两者结合实现了"理解语义"的搜索。

T3165919332的博客 71

AI前沿日报 · 2026-11-04 | 祛魅时刻:Astra“纯读权重“神话的崩塌

①Astra"裸权重通吃"被spaCy创始人Honnibal精准祛魅——仅1/3实验真裸读,数学能力提升依赖Python+50次迭代;②Simon Willison用Qwen 3.8-27B端侧复现权重空间编程;③Nvidia开源Auto-Ontology自动知识图谱;④$800开源全域抓取机器人Stringman;⑤OpenAI悄然重开Codex训练开关引信任危机;⑥DeepMind发布Gemini 4 Argon机器人基础模型;⑦美国科技巨头隐性AI债务达3.2万亿美元,6个月增90%。

johnsong2009的博客 515
上一篇: Day 0 实测|在 GPUStack 上部署 Inkling-BF16:8 卡 H20-141G 推理性能测试
下一篇: GPUStack Day 0 支持 Kimi-K3:8×B300 上 vLLM 与 SGLang 推理实测
GPUStack
博客等级 码龄2年 150粉丝 65原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值