gpt-oss with vLLM踩坑记录

忘掉Ollama! 将GPT OSS私有部署推理性能提升100倍的部署教程 基于开源大模型服务平台 GPUStack 与自定义安装的 vLLM 版本完成 GPT OSS 系列模型的生产部署推理。并对比 Ollama 与 vLLM 在生产并发场景下的吞吐性能差异。 阅读详情

安装方法:

参考链接

[官网教程](https://cookbook.openai.com/articles/gpt-oss/run-vllm)

uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install --pre vllm==0.10.1+gptoss \
    --extra-index-url https://wheels.vllm.ai/gpt-oss/ \
    --extra-index-url https://download.pytorch.org/whl/nightly/cu128 \
    --index-strategy unsafe-best-match

踩坑1: #include <Python.h>

跑 vllm serve openai/gpt-oss-20b的时候:

  1. 出现问题:
5 | #include <Python.h>

这说明没有装python-devel导致没有办法编译c++(大概是这个意思)
安装方法:

sudo apt install python3-dev

这个时候在/usr/include/pythonx.xx/中就会出现Python.h文件。
但貌似还是找不到Python.h,我就按照网上的教程加了一堆环境变量:

export C_INCLUDE_PATH=/usr/include/python3.12/
export CPLUS_INCLUDE_PATH=/usr/include/python3.12/
export PYTHONPATH=/home/user_name/.../lib/python3.12/site-packages  # 虚拟环境位置
export CFLAGS="-I/usr/include/python3.12"  # 好像这个是有用的,可以自己试试看
vllm serve openai/gpt-oss-20b

然后发现不报这个错了。

踩坑2: gcc: fatal error: cannot execute ‘cc1plus’: execvp: No such file or directory

这个错好像是g++编译的问题
找不到 g++ 编译器的核心程序 cc1plus,这通常是因为 C++ 编译器没装好。

解决方案:

sudo apt update
sudo apt install g++

然后以下代码验证是否安装成功:

which g++
g++ --version

然后再运行你的命令就不会报 cc1plus 缺失了。

wifi/BT芯片RTL8723DS驱动移植和测试之一wifi篇 本文主要介绍如何在stm32mp157中移植并测试芯片RTL8723DS的wifi功能。 阅读详情

相关推荐

SAP CO-PA数据传送避坑指南:销售开票与FI/MM记账的日常配置实操(含KEKF/KE4I/KEI2)

本文深入解析SAP CO-PA数据传送中的常见配置问题,特别是销售开票与FI/MM记账环节的实操避坑指南。通过KEKF/KE4I/KEI2等关键配置点的详细说明,帮助用户避免数据失真和重复记录,提升获利能力分析的准确性。文章结合实战案例,揭示官方文档未提及的'数据黑洞'形成机制,为SAP顾问提供实用的排雷手册。

weixin_26905487的博客 390

GPT-oss + vLLM + LobalChat

摘要: gpt-oss与vLLM的深度适配通过MXFP4量化、MoE架构优化及定制化内核实现高效部署,如120B模型仅需63GB显存。vLLM的PagedAttention和连续批处理技术显著提升吞吐量,支持高并发。LobeChat通过兼容OpenAI API快速集成vLLM,三步即可完成配置,支持工具调用与长上下文。需注意硬件兼容性及生产部署建议,如H100/B100显卡及Kubernetes扩缩容方案。该组合大幅降低大模型应用门槛,实现高性能推理与便捷前端集成。

FontTian的博客 1416

Sparse4Dv3

instance_feature也设置为nn.Parameter。修正分支2*(linear->relu->linear->relu->layernorm)->linear->scale,分类分枝2*(linear->relu->layernorm)->linear(256,9),质量评估分枝2*(linear->relu->layernorm)->linear(256,2)。每组两类instance,1是加上范围(-x,x)内均匀分布噪声,2是加上(-2x,-x)U(x,2x)范围内均匀分布噪声。

yuanl15的博客 1351

保姆级教程:使用vLLM 0.10.1+gptoss在A100上搭建可远程访问的gpt-oss API服务

本文提供了一份详细的保姆级教程,指导如何在A100服务器上使用vLLM 0.10.1+gptoss框架部署可远程访问的GPT-OSS大语言模型API服务。内容涵盖从环境准备、模型下载、服务启动、API调用到生产环境安全配置与性能调优的全流程,重点解决了A100硬件上的兼容性问题,并整合了远程访问的关键热词信息。

nginx7reverse的博客 212

强化学习入门8—深入理解DDPG

本文是强化学习入门系列的第八篇,前面我们讲Actor-Critic时提到了DDPG。DDPG是google DeepMind团队提出的一种用于输出确定性动作的算法,它解决了Actor-Critic 神经网络每次参数更新前后都存在相关性,导致神经网络只能片面的看待问题这一缺点。同时也解决了DQN不能用于连续性动作的缺点。

小菜羊的博客 4314

阿里九宫格验证码 (Baxia SecCaptcha) 逆向工程与自动化求解

实现对阿里巴夏 (Baxia) 九宫格点击验证码的全自动求解模式说明依赖浏览器模式通过 Puppeteer/Playwright 控制真实浏览器,享有完整 DOM/Canvas/WASM 环境需要 Chrome/Chromium纯算模式脱离浏览器,通过 HTTP API + Node.js WASM 解密完成求解无需浏览器。

猫敷雪 376

LLMs之GPT:gpt-oss-120b/gpt-oss-20b的简介、安装和使用方法、案例应用之详细攻略

​ LLMs之GPT:gpt-oss-120b/gpt-oss-20b的简介、安装和使用方法、案例应用之详细攻略 目录 gpt-oss的简介 gpt-oss的安装和使用方法 gpt-oss的案例应用 gpt-oss的简介 2025年8月6日,OpenAI重新回归开源节奏,gpt-oss-120b 和 gpt-oss-20b 是 OpenAI 发布的两个开放权重(open-weight)的语言模型。 gpt-oss-120b:适用于生产环境、通用目的和高推理使用场景

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 3529

135、转动惯量辨识方法

<think>我们要求根据内容生成≤150字的文章摘要。内容是关于电机控制中转动惯量辨识的方法和工程经验。摘要需简洁概括核心:转动惯量重要性、三种方法(加减速法、正弦扫频、MRAS)、工程注意点(摩擦补偿、采样同步等)、实用建议(组合使用、滤波限幅、安全保护)。字数严格≤150。需要提炼。</think>转动惯量辨识是电机控制的关键,负载变化会导致速度环失稳。工程常用加减速法(简单可靠)、正弦扫频法(高精度)、MRAS在线辨识。实操需补偿摩擦、同步采样、控制激励幅度。建议混合使用,辨识结果需滤波限幅,并设置

2401_88858637的博客 39

OpenAI重磅开源gpt-oss系列模型!本地部署+客观深度测评!开源模型中的王者gpt-oss-120B和gpt-oss-20B!从幻觉测试到代码生成,从逻辑推理到文档分析,全面碾压现有开源模

简单来说,GPT-OSS就是OpenAI推出的开放权重语言模型,专门为推理任务、智能体应用和各种开发场景设计。这两个模型有什么区别呢?🔥 GPT-OSS-120B(大模型)参数量:1170亿(激活参数51亿)适合:数据中心、高端台式机和笔记本需要:至少60GB显存或统一内存性能:接近OpenAI的o4-mini水平⚡ GPT-OSS-20B(小模型)参数量:210亿(激活参数36亿)适合:大多数台式机和笔记本需要:仅16GB内存即可运行。

m0_71165399的博客 2592

深入介绍 SAP OData CSRF Token 的一些技术细节

跨站请求伪造(Cross-Site Request Forgery,简称 CSRF)是一种网络攻击手段,它允许攻击者伪造用户的身份来执行未经授权的操作。为了防止 CSRF 攻击,常用的一种技术手段就是 CSRF Token.CSRF Token 是一种随机生成的防伪 Token,它由服务器颁发给客户端,并需要客户端在提交某些特定类型的请求时,将该 Token 添加到 HTTP 请求的头部字段去。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 642

Claude Code 常见安装失败问题与解决办法

摘要: Claude Code安装失败通常与环境、网络和权限问题有关,而非软件本身。主要误区包括:命令未识别(需检查PATH和终端重启)、网络连接失败(终端代理配置)、权限不足(系统安全限制)及账号认证问题。首次使用应避免复杂任务,建议从基础功能测试开始。快速自检可按终端重启→命令识别→网络→代理→权限→账号状态的顺序排查。理顺终端、网络和权限后,Claude Code运行将更稳定。 (150字)

sg_knight的专栏 6692

踩坑记录:GPT-OSS-20B网页推理那些事,新手必看

本文介绍了如何在星图GPU平台上自动化部署gpt-oss-20b-WEBUI镜像,快速启用开源20B大语言模型的网页推理服务。通过平台一键部署,用户可高效开展智能客服应答、技术文档摘要、多轮对话生成等典型文本生成任务,显著降低本地环境配置门槛与运维成本。

weixin_29903713的博客 532

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

gpt-oss-20b部署踩坑记录:少走90%的弯路

本文介绍了如何在星图GPU平台上自动化部署gpt-oss-20b-WEBUI镜像,快速构建大语言模型网页推理服务。该镜像基于vLLM+Gradio架构,适用于技术文档问答、代码辅助生成等典型文本生成场景,显著降低本地部署门槛与运维复杂度。

weixin_30789053的博客 558

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

GPT-OSS-20B部署踩坑记录,这些显存问题一定要注意

本文介绍了基于星图GPU平台自动化部署gpt-oss-20b-WEBUI镜像的实践过程,重点解析显存优化与多卡并行配置。该平台支持一键部署高性能大模型,适用于模型微调、AI对话系统开发等场景,助力开发者高效构建本地化大模型应用。

weixin_30820933的博客 300

gpt-oss-20b安装踩坑记录与解决方案汇总

本文详细记录了在16GB内存设备上本地部署gpt-oss-20b模型的全过程,涵盖稀疏激活、GGUF量化、混合推理等核心技术要点,针对CUDA内存溢出、输出格式混乱、首请求延迟高等常见问题提供切实可行的解决方案,并给出生产环境下的最佳实践配置建议。

weixin_26805451的博客 863

手把手教你启动gpt-oss-20b,vLLM网页推理零基础入门指南

本文介绍了如何在星图GPU平台上自动化部署gpt-oss-20b-WEBUI镜像,快速启用大语言模型网页推理服务。用户无需配置环境或编写代码,即可通过浏览器进行多轮对话、代码生成、合同审查等文本生成任务,显著降低AI应用门槛。

weixin_35755434的博客 813

gpt-oss-20b vLLM集成测试:提升KV缓存效率

本文介绍如何通过gpt-oss-20b与vLLM结合,在仅16GB显存的设备上高效运行210亿参数大模型。核心技术包括稀疏激活架构与PagedAttention内存优化,显著降低KV缓存占用,提升并发能力与推理速度,支持本地化、低延迟、高吞吐的AI应用部署。

weixin_36059856的博客 930

GPT-OSS-20B WEBUI部署教程:vLLM加速推理三步搞定

本文介绍了如何在星图GPU平台上自动化部署gpt-oss-20b-WEBUI镜像,快速搭建私有化大模型服务。该镜像集成了GPT-OSS-20B模型与vLLM加速引擎,用户可通过WebUI界面进行智能对话、文本生成与内容创作,显著降低了大模型的应用门槛。

weixin_31720909的博客 900

gpt-oss-20b-WEBUI踩坑记录:这些错误千万别犯

本文介绍了如何在星图GPU平台上自动化部署gpt-oss-20b-WEBUI镜像,快速构建高性能大语言模型推理服务。基于vLLM引擎,该镜像支持双卡RTX 4090D环境下的高效文本生成,适用于智能客服应答、技术文档辅助编写等典型场景,显著降低本地大模型部署门槛。

weixin_42591908的博客 438

GPT-OSS-20B WEBUI部署教程:vLLM推理快速上手指南

本文介绍了如何在星图GPU平台上自动化部署gpt-oss-20b-WEBUI镜像,快速搭建一个基于vLLM推理引擎的大语言模型Web服务。用户通过该平台可一键启动服务,并通过网页界面与GPT-OSS-20B模型进行交互,轻松应用于文本生成、对话问答、代码编写等场景,实现开箱即用的AI体验。

weixin_42402664的博客 997

gpt-oss-20b-WEBUI上手实录:我是怎么跑通GPT-OSS 20B的

本文介绍了如何在星图GPU平台上自动化部署gpt-oss-20b-WEBUI镜像,快速启用GPT-OSS 20B大语言模型。无需手动配置环境或编译依赖,用户可直接通过网页界面进行中文问答、创意写作与长文本摘要等典型文本生成任务,显著降低大模型推理使用门槛。

weixin_33608403的博客 1116

GPT-OSS生产环境部署:vLLM高可用架构设计实践

本文介绍了基于星图GPU平台自动化部署gpt-oss-20b-WEBUI镜像的实践方案,结合vLLM高可用架构实现高性能推理服务。该平台支持一键拉取镜像并快速构建稳定运行环境,适用于模型微调、AI应用开发等场景,显著降低大模型部署门槛,提升开发效率与服务可靠性。

weixin_42593549的博客 407

gpt-oss-20b-WEBUI部署踩坑记录,这些问题你可能也会遇到

本文介绍了如何在星图GPU平台上自动化部署gpt-oss-20b-WEBUI镜像,快速启用大语言模型的网页化推理服务。该镜像支持中文对话、代码生成与文本创作等典型场景,用户可通过Web UI或OpenAI兼容API进行交互,显著降低本地大模型部署门槛。

weixin_28840811的博客 442

GPT-OSS-20B + vLLM:高性能推理架构部署教程

本文介绍了基于星图GPU平台自动化部署gpt-oss-20b-WEBUI镜像的完整流程,结合vLLM推理引擎实现高性能大模型服务。该方案支持通过WebUI或OpenAI兼容接口调用GPT-OSS-20B模型,适用于AI应用开发、模型微调与本地化推理等场景,显著提升部署效率与系统性能。

weixin_42186387的博客 353

真实体验分享:gpt-oss-20b-WEBUI部署全过程记录

本文介绍了如何在星图GPU平台上自动化部署gpt-oss-20b-WEBUI镜像,快速构建高性能大语言模型Web推理服务。基于vLLM引擎,该镜像支持标准OpenAI API调用,适用于技术文档问答、代码辅助生成、中文内容创作等典型文本生成场景,显著提升本地化AI应用开发效率。

weixin_29155599的博客 672

GPT-OSS镜像兼容性测试:不同驱动版本适配情况

本文介绍了如何在星图GPU平台上自动化部署gpt-oss-20b-WEBUI镜像,快速启用开箱即用的中文大语言模型交互界面。该镜像基于Gradio构建,支持多轮对话与参数调节,典型应用于内容创作、教学演示及产品原型验证等场景,显著降低AI推理服务部署门槛。

weixin_32661831的博客 1044
上一篇: matplotlib如何在plt.show()中保存高分辨率的图像
下一篇: deepspeed,torch训练遇到:exits with return code = -8
玉章.
博客等级 码龄6年 24粉丝 13原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值