阿里QwQ-32B开源，o1圈的新王！

最新推荐文章于 2025-11-30 20:55:57 发布
原创 最新推荐文章于 2025-11-30 20:55:57 发布 · 610 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #人工智能 #语言模型

最近o1圈很忙，国内先是DeepSeek-R1-Lite上线，阿里国际开源Marco-o1，没几天，阿里千问系列又开源了QwQ-32B-Preview：专注于增强 AI 推理能力。

具体表现如下：

  • 强大的数学问题解决能力，在AIME、MATH-500数学评测上，超过了OpenAI o1-preview

  • 优秀的编码能力，LiveCodeBench接近OpenAI o1-preview 

  • 其他方面还有很大的提升空间，比如科学推理能力GPQA

图片

图片

数学推理case，超长推理过程

图片

图片

https://qwenlm.github.io/zh/blog/qwq-32b-preview/model https://huggingface.co/Qwen/QwQ-32B-Previewdemo https://huggingface.co/spaces/Qwen/QwQ-32B-preview

来源 | PaperAgent

AIBigModel
关注
QWQ-32B概述与本地部署使用
寸先生的AI道路
03-08 3567
2025年3月5日，阿里巴巴千问QwQ-32B，即DeepSeek之后，中国AI大模型有一次震惊世界。QwQ-32B 的运行成本显著低于 DeepSeek-R1 等模型，性能更优，成本仅为 1/10，体现了我国在被外国技术封锁的情况下进行进行自主创新的能力。QwQ 是 Qwen 系列的大模型之一，专注于 推理能力（reasoning）。
本地部署大模型？看这篇就够了，Ollama 部署和实战
2401_85373898的博客
11-13 2422
如果要使用的模型不在 Ollama 模型库怎么办？至此，我们一起走完了 Ollama 的部署和实战流程。在我看来，Ollama 也许是目前最便捷的大模型部署和使用工具，对小白非常友好。简单的命令行操作，用户即可快速启动和管理模型，极大降低了技术门槛，用户可以专注于模型的应用，而无需关注底层技术细节。此外，Ollama 的离线运行也为数据安全提供了保障。期待大家在使用 Ollama 的过程中，发现更多有趣的 AI 应用场景。让我们一起推动大模型技术的应用落地，探索更广阔的可能性！
阿里最新开源QwQ-32B，效果媲美deepseek-r1满血版，部署成本又又又降低了！
程序猿DD
03-06 1128
3月6日最新消息，阿里云通义千问官方宣布推出最新推理模型 QwQ-32B，这一模型仅有 32B 参数，但在效果上与拥有 671B 参数的 DeepSeek-R1 相媲美。如果你自己部署 DeepSeek-R1 但资源不够的话，又多了一个新的选择。QwQ-32B 的独特之处不仅在于其参数规模和效果表现，还集成了与 Agent 相关的能力。这使得模型在使用工具时能够进行批判性思考，并依据环境反馈灵活调...
阿里发布推理模型QwQ-32B-Preview，性能超OpenAI o1-preview
bagell的博客
11-29 2863
今天，阿里巴巴的 Qwen 团队发布了其最新的推理模型 QwQ-32B-Preview。该模型拥有 325 亿参数，并能处理约 32,000 个 Token 的提示词。值得注意的是，它是首个可以在宽松许可下下载使用的模型。试用链接：https://huggingface.co/spaces/Qwen/QwQ-32B-preview根据官网介绍，QwQ-32B-Preview 是为数不多的可以与 OpenAI 的 o1 相媲美的模型之一。
o1圈的新王！阿里QwQ-32B开源
m0_59235245的博客
11-29 3881
11月28日，阿里通义千问正式推出了QwQ-32B-Preview[1]实验性研究模型。该模型展现出卓越的AI推理能力，尤其在数学和编程领域的复杂问题解决上表现突出，是少数能与OpenAI的o1匹敌的模型之一。数据来源于官方QwQ-32B-Preview的具体表现：在AIME、MATH等基准测试中，其表现优异，如在MATH-500基准测试中成绩为90.6%还具备优秀的编码能力，在LiveCodeBench上表现接近 OpenAI o1-preview。
媲美满血R1+，刚刚，阿里推理模型QwQ-32B开源
AI前沿技术的分享！
03-06 2342
阿里通义千问团队今日凌晨正式开源推理模型QwQ-32B，仅凭320亿参数（非嵌入参数31亿），竟在多项关键指标上追平甚至超越参数规模超6710亿的顶尖模型DeepSeek-R1！
最新开源：阿里开源QwQ-32B-Preview推理大模型！月之暗面Kimi开源大模型推理架构 Mooncake！
z551646的博客
12-02 3259
*1. 阿里发布首个开源推理大模型 QwQ-32B-Preview！自我思考、数学能力媲美OpenAI o1**11月28日，阿里Qwen团队发布首个开源推理大模型！。在评测数据中表现出色，尤其在领域的深度推理任务上，展现出研究生级别的能力。GPQA: 测试模型在常识问答和通用知识理解上的能力。AIME: 检验模型对高难度数学竞赛题目的解题能力。MATH-500: 测评模型在广泛数学领域中解决复杂问题的表现。LiveCodeBench: 测试模型生成、调试和实现代码的编程能力。具体地，
阿里重磅开源QwQ-32B推理模型！全面支持Agent，性能媲美满血R1！
weixin_43589681的博客
03-06 946
这标志着 Qwen 在扩展强化学习 （RL） 以增强推理能力方面迈出了第一步。我们不仅见证了缩放 RL 的巨大潜力，还认识到了预训练语言模型中尚未开发的可能性。未来，他们将继续深入探索 RL 的潜力，并将其与更强大的基础模型相结合，利用更大的计算资源，致力于打造 下一代 Qwen 模型，并最终迈向 通用人工智能 (AGI) 目标！
最新开源：阿里开源QwQ-32B-Preview推理大模型！月之暗面Kimi开源大模型推理架构 Mooncake！阿里开源图像生成模型Qwen2VL-Flux！
u012744245的博客
12-02 2034
是由 Moonshot AI 提出的长文高效推理架构，它采用了 KVCache 为中心的分离架构，将预填充和解码集群分开，并利用 GPU 集群中未充分利用的 CPU、DRAM 和 SSD 资源实现分离的 KVCache。在全面考察数学解题能力的 MATH-500 评测中，QwQ 斩获 90.6% 的高分，一举超越OpenAI o1-preview 和 o1-mini，体现了在各类数学主题上的全面理解；不仅能够根据用户输入的图像生成多幅相似图像，还支持文本引导的图像混合和图像引导的图像融合。
Spring AI Alibaba整合阿里最新开源的QwQ-32B 模型，性能媲美DeepSeek R1，参数量仅用其1/20
Fox爱分享的专栏
03-06 1528
通过大规模强化学习，千问QwQ-32B在数学、代码及通用能力上实现质的飞跃，整体性能比肩DeepSeek-R1。在保持强劲性能的同时，千问QwQ-32B还大幅降低了部署使用成本，在消费级显卡上也能实现本地部署。目前，千问QwQ-32B已在魔搭社区、HuggingFace及GitHub等平台基于宽松的Apache2.0协议开源，所有人都可免费下载模型进行本地部署，或者通过阿里云百炼平台直接调用模型API服务实例，这样你的 Bean 就具备与 AI 大模型智能对话的能力了。
QwQ-32B-Preview：阿里开源的顶尖AI推理模型详解
m0_66917422的博客
12-03 2443
QwQ-32B-Preview（简称QwQ-32B）是阿里推出的一款开源AI推理模型，凭借其卓越的数学和编程能力，成为当前业界关注的焦点。该模型拥有325亿参数，能够处理长达32000个tokens的提示词，在多个基准测试中超越了OpenAI的o1模型。QwQ-32B-Preview擅长处理需要深度推理的复杂问题，特别是在数学和编程领域表现出色，能够高效解决各种高难度任务。该模型能够生成详细的推理流程，帮助用户理解其生成内容的全过程，提升了模型的可解释性和透明度。在AIME和MATH-500等数学基准测试中
【QwQ-32B-Preview】阿里通义QwQ登场MATH测试超OpenAI o1,开源AI推理新王,为数不多可以与OpenAI o1媲美的模型之一
m0_54136051的博客
11-28 1617
阿里通义千问今天（11 月 28 日）发布《QwQ: 思忖未知之界》博文，推出了 QwQ-32B-Preview 实验性研究模型，在数学和编程领域，尤其在需要深度推理的复杂问题上，具备卓越的 AI 推理能力。它是少数能与 OpenAI 的 o1 匹敌的模型之一，并且是第一个能以宽松许可证下载的模型。QwQ-32B-Preview 在 Apache 2.0 许可证下“公开”可用，这意味着它可以用于商业应用。使用该链接注册可以获得2000万tokens体验QwQ-32B-Preview。
保姆级教程：阿里QwQ-32B模型本地部署与企业级应用实战（附万字指南+工具链）
资深全栈架构师，乐于在 优快云 分享技术见解，与大家携手共进，共攀技术巅峰！
03-07 1470
验证API（curl http://localhost:8000）克隆仓库（git clone https://...）安装依赖（CUDA 12.1 + cuDNN）启动服务（python server.py）数据来源：阿里开源文档[[4]][[6]]下载模型权重（ModelScope）
时间序列的“语言”：从语言模型视角理解时序基础模型
u010681011的专栏
11-30 525
摘要： 本文提出“时间的语言”假说，将时间序列基础模型类比为语言模型，认为时间序列patch（短片段）类似于语言中的token，但在潜在空间中表现为分布而非单点。通过构建时间序列“词汇表”并分析其统计特性，研究发现时间序列token遵循Zipf定律，且其组合呈现稀疏语法结构，验证了时间序列数据的类语言特征。这一发现为跨域时序模型的迁移能力提供了理论支持，表明模型通过学习“时间的语言”实现对动态模式的抽象表示。
知识图谱 (Neo4j)、大语言模型与 RAG 技术全景解析
m0_73161433的博客
11-30 557
大语言模型是参数规模达数十亿至数万亿的深度学习模型，基于 Transformer 架构，通过海量文本预训练获得理解和生成自然语言的能力。关键里程碑2017 年：Transformer 架构问世，解决 RNN 无法并行计算和捕捉长距离依赖的问题2018 年：GPT-1 (1.17 亿参数) 验证 "预训练 + 微调" 范式2020 年：GPT-3 (1750 亿参数) 展现 "零样本学习" 能力2022 年：ChatGPT 引入 RLHF (人类反馈强化学习)，大幅提升对话质量。
Transformer架构变体全景图：从BERT到GPT的演化路径
11-30 850
Transformer架构从原始编码器-解码器结构演化出三大技术路线：仅编码器架构（如BERT）、仅解码器架构（如GPT）和编码器-解码器架构（如T5）。BERT系列通过掩码语言建模实现双向理解，GPT系列采用因果自注意力进行自回归生成，T5则统一任务为文本到文本格式。这些变体在自注意力机制、位置编码等核心组件基础上，针对不同任务需求进行优化，形成了自然语言处理领域的多元技术生态。
AI核心知识22——大语言模型之重要参数Top-P（简洁且通俗易懂版）
2302_79444404的博客
11-29 660
Top-P和Temperature是控制AI生成随机性的两大关键参数。Top-P通过限定高概率候选词范围（如设0.9时排除概率最低的10%词汇），而Temperature则调整概率分布形状使输出更保守或大胆。专家建议二者择一使用：新手优先调节Temperature（0-1.2），进阶者可先用Top-P=0.9过滤荒谬选项，再调Temperature控制风格。典型组合如代码生成用低温（0.2）+低Top-P（0.3），创意写作则用中高温（0.8）+高Top-P（0.9）。
AI论文整理：Flamingo: a Visual Language Model for Few-Shot Learning
极客BIM工作室
11-28 707
Flamingo是DeepMind提出的视觉语言模型（VLM）家族，核心目标是实现少样本学习（仅需少量标注示例快速适配新任务）。其通过三大架构创新：一是用连接预训练视觉编码器（冻结NFNet-F6）与语言模型（冻结Chinchilla系列），处理可变尺寸视觉特征并输出固定视觉 tokens；二是在冻结语言模型层间插入GATED XATTN-DENSE层，实现视觉信息对语言生成的条件约束且避免训练不稳定；三是通过单图像交叉注意力掩码支持任意 interleaved（交织）的图文/视频文本输入。
GKD：语言模型的策略内蒸馏：从自身生成的错误中学习
最新发布
11-30 58
首先在抽象摘要任务中评估GKD，即生成能够抓取输入文档核心内容的摘要。我们使用XSum数据集（Narayan等，2018），包含新闻文章及其人工撰写的摘要。参考PaLM（Chowdhery等，2022），在XSum验证集上使用ROUGE-2分数（Lin, 2004）评价预测摘要的质量，同时观察到ROUGE-L和ROUGE-1的趋势一致。学生模型为在XSum上经过监督微调的T5系列，教师模型为微调后的T5-XL。更多实验细节见附录A.3。与基线方法的比较。
vLLM + QwQ-32B-4bit 私有化部署
03-15
<think>好的，用户想了解如何在本地服务器上私有化部署vLLM和QwQ-32B-4bit模型。首先，我需要回忆vLLM的基本部署流程。vLLM是一个高效的推理框架，支持大模型的部署，通常需要安装Python包，配置环境，加载模型。然后，QwQ-32B-4bit是阿里开源的量化模型，可能需要特定的步骤来加载量化后的版本。 接下来，用户提到的QwQ-32B-4bit需要单卡4090，24GB显存，这符合引用中的信息。要部署这个模型，可能需要使用XInference或者Open-WebUI，如引用2所述。但用户提到的是vLLM，所以可能需要结合vLLM的部署方法。 我需要分步骤来写，先讲vLLM的安装和环境配置，再讲如何下载QwQ-32B-4bit模型，最后整合两者，给出启动命令。需要注意模型路径是否正确，是否支持4bit量化。同时，可能遇到依赖问题，需要提醒用户安装正确的CUDA版本和依赖库。 另外，用户可能需要验证部署是否成功，所以添加一个测试示例，比如发送请求到API。还要考虑常见问题，比如显存不足或者模型加载失败，给出排查建议。最后，引用相关的资料，确保信息准确。</think>### vLLM与QwQ-32B-4bit私有化部署教程 #### 一、环境准备 1. **硬件要求**： - NVIDIA显卡（推荐RTX 4090 24GB，满足QwQ-32B-4bit量化模型部署需求）[^3] - CUDA 11.8+环境 2. **软件依赖**： - Python 3.8+ - 安装vLLM框架： ```bash pip install vllm ``` #### 二、模型下载与配置 1. **获取QwQ-32B-4bit模型**： - 从阿里官方仓库或Hugging Face下载量化模型文件 - 模型目录结构示例： ``` QwQ-32B-4bit/ ├── config.json ├── pytorch_model.bin └── quantization_config.json ``` 2. **验证模型兼容性**： - 确认vLLM支持4bit量化格式（需vLLM 0.4.0+版本） #### 三、服务部署 1. **启动vLLM服务**： ```bash python -m vllm.entrypoints.openai.api_server \ --model /path/to/QwQ-32B-4bit \ --tensor-parallel-size 1 \ --quantization awq # 根据实际量化方式调整 ``` 2. **验证部署**： ```python from vllm import LLM llm = LLM(model="/path/to/QwQ-32B-4bit") print(llm.generate("你好")) ``` #### 四、高级配置（可选） 1. **多GPU并行**： ```bash --tensor-parallel-size 2 # 使用2块GPU ``` 2. **API服务扩展**： - 结合Open-WebUI搭建交互界面[^2] - 配置反向代理实现HTTPS访问 #### 五、常见问题排查 1. **显存不足**： - 检查模型是否成功加载4bit量化版本 - 使用`nvidia-smi`监控显存使用 2. **模型加载失败**： - 确认CUDA版本与vLLM兼容 - 检查模型文件完整性
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值