最新开源：阿里开源QwQ-32B-Preview推理大模型！月之暗面Kimi开源大模型推理架构 Mooncake！阿里开源图像生成模型Qwen2VL-Flux！

已于 2024-12-02 15:50:14 修改
阅读量1.8k 收藏 16
点赞数 5
分类专栏： 开源大模型 多模态大模型 AI绘画 文章标签： 多模态大模型 开源大模型 AI图像生成 推理模型
于 2024-12-02 15:32:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012744245/article/details/144189481
版权
来源：HsuDan[最新开源：阿里巴巴开源推理模型 Marco-o1！智子引擎开源多模态MoE大模型 Awaker2.5-VL!]

1. 阿里发布首个开源推理大模型 QwQ-32B-Preview！自我思考、数学能力媲美OpenAI o1

11月28日，阿里Qwen团队发布首个开源推理大模型 QwQ-32B-Preview！

QwQ（Qwenwith Questions）是通义千问Qwen系列的最新实验性研究模型，旨在提升 AI 的推理能力。QwQ-32B-Preview 在评测数据中表现出色，尤其在数学和编程领域的深度推理任务上，展现出研究生级别的能力。

图片

  • GPQA: 测试模型在常识问答和通用知识理解上的能力。

  • AIME: 检验模型对高难度数学竞赛题目的解题能力。

  • MATH-500: 测评模型在广泛数学领域中解决复杂问题的表现。

  • LiveCodeBench: 测试模型生成、调试和实现代码的编程能力。

具体地，QwQ-32B-Preview 在各项基准测试中的表现如下：

图片

  • 在考察科学问题解决能力的 GPQA 评测集上，QwQ 获得 65.2% 的准确率，具备研究生水平的科学推理能力；

  • 在涵盖综合数学主题的 AIME 评测中，QwQ 以 50% 的胜率证明其拥有解决数学问题的丰富技能；

  • 在全面考察数学解题能力的 MATH-500 评测中，QwQ 斩获 90.6% 的高分，一举超越OpenAI o1-preview 和 o1-mini，体现了在各类数学主题上的全面理解；

  • 在评估高难度代码生成的 LiveCodeBench 评测中，QwQ 答对一半的题，在编程竞赛题场景中也有出色表现。

值得注意的是，QwQ-32B-Preview 是一个模型参数仅有 32B 的小模型！更轻量化的模型意味着更高的计算资源效率、更快的推理速度，以及更低的硬件需求。

作为预览版本，该模型展示了出色的分析能力，但也存在一些重要的局限性，如语言混合、递归推理循环以及安全和伦理方面的考虑。该模型在数学和编程方面表现优异，但在常识推理和语言理解方面仍有改进空间。

图片

目前，QwQ-32B-Preview 已在魔搭社区和 HuggingFace 等平台上开源。

  • QwQ模型地址：https://huggingface.co/Qwen/QwQ-32B-Preview

  • QwQ体验地址：https://huggingface.co/spaces/Qwen/QwQ-32B-preview

  • QwQ模型链接：https://modelscope.cn/models/Qwen/QwQ-32B-Preview

  • QwQ体验链接：https://modelscope.cn/studios/Qwen/QwQ-32B-preview

  • QwQ中文博客：https://qwenlm.github.io/zh/blog/qwq-32b-preview/

2. 月之暗面Kimi联合清华大学等开源共建大模型推理架构 Mooncake

11月28日，月之暗面 Kimi 联合清华大学等机构，开源了大模型推理架构 Mooncake。

在这篇名为《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》的论文中，作者详细介绍了 Mooncake 这种系统架构。

图片

图片

  • 论文链接：https://arxiv.org/pdf/2407.00079

  • 项目地址：https://github.com/kvcache-ai/Mooncake

Mooncake 是由 Moonshot AI 提出的长文高效推理架构，它采用了 KVCache 为中心的分离架构，将预填充和解码集群分开，并利用 GPU 集群中未充分利用的 CPU、DRAM 和 SSD 资源实现分离的 KVCache。

此次更新，开源了 Mooncake 的核心组件 Transfer Engine，还提供了 Transfer Engine 的两个演示：P2P Store 和 vLLM 集成。

图片

图：Mooncake 推理系统架构图

Mooncake 的核心是以 KVCache 为中心的调度程序，在最大化整体有效吞吐量和满足与延迟相关的服务级目标(SLO)之间取得平衡。

Mooncake 不仅提升了 Kimi 的用户体验和降低了成本，还为处理长文本和高并发需求提供了有效的解决方案，承载 Kimi 线上 80% 流量。

3. 阿里开源图像生成模型 Qwen2VL-Flux，支持图像融合和风格转移等

Qwen2VL-Flux 是一款先进的多模态图像生成模型，结合了 FLUX 框架和 Qwen2VL 的视觉语言理解能力。该模型能够根据文本提示和视觉参考生成高质量图像，提供卓越的多模态理解和控制能力。

Qwen2VL-Flux 不仅能够根据用户输入的图像生成多幅相似图像，还支持文本引导的图像混合和图像引导的图像融合。用户可以通过简单的操作实现角色合体、场景转换以及细致的风格迁移。

图片

  • 代码链接：https://github.com/erwold/qwen2vl-flux

  • 模型链接：https://huggingface.co/Djrango/Qwen2vl-Flux

图片

图：Qwen2vl-Flux 框架

Qwen2VL-Flux 有以下特征：

  • 增强视觉语言理解：利用 Qwen2VL 实现卓越的多模式理解；

  • 多种生成模式：支持变异、img2img、修复和控制网引导生成；

  • 结构控制：集成深度估计和线路检测，实现精确的结构引导；

  • 灵活的注意力机制：通过空间注意力控制支持焦点生成；

  • 高分辨率输出：支持高达 1536x1024 的各种宽高比。

图片

图：「图像变化」在保持原始图像本质的同时，创造出多样化的变化。

图片

图：「图像混合」通过智能风格转换无缝融合多幅图像

图片

图：「文本引导的图像混合」通过文本提示控制图像生成

图片

图：「基于网格的风格迁移」应用网格注意力的细粒度样式控制

参考：
https://qwenlm.github.io/zh/blog/qwq-32b-preview/

欢迎各位关注我的个人微信公众号：HsuDan，我将分享更多自己的学习心得、避坑总结、面试经验、AI最新技术资讯。

阿里开源最新推理模型：QwQ-32B，媲美DeepSeek-R1
这里汇聚了前沿的技术分享与实用的开发技巧，带你探索从创意到企业的技术创业之路。
03-21 128
QwQ-32B的开源标志着阿里在AI推理技术上的又一重要突破。凭借其独特的训练方法和强大的Agent相关能力，QwQ-32B为各行各业提供了前所未有的智能化解决方案。无论你是开发者、研究人员，还是对AI技术感兴趣的爱好者，都可以通过上述链接深入了解并体验这一前沿技术的魅力。立即行动，开启你的智能之旅！
【国产开源大模型】使用 Qwen/QwQ-32B-preview 推导麦克斯韦方程组、相对论公式
AI天才研究院
12-02 1001
∇⋅Eρε0∇⋅Eε0​ρ​（高斯定律）∇⋅B0∇⋅B0（高斯磁定律）∇×E−∂B∂t∇×E−∂t∂B​（法拉第定律）∇×Bμ0Jμ0ε0∂E∂t∇×Bμ0​Jμ0​ε0​∂t∂E​（安培-麦克斯韦定律）这些方程共同描述了电场和磁场的相互作用，是经典电磁学的基石。广义相对论的场方程是通过结合等效原理、最小作用量原理和张量分析得出的。
深度剖析QwQ模型：技术、应用与前景展望
daqsdfas的博客
03-08 2043
QwQ 模型是一种基于深度学习的先进推理模型，旨在通过对大量数据的学习和分析，实现对复杂问题的准确推理和解答。与传统的人工智能模型不同，QwQ 模型不仅能够处理简单的任务，还具备强大的逻辑推理和思维链展示能力，能够像人类一样逐步分析问题，展示推理过程。该模型的核心概念之一是思维链（Chain of Thought, CoT）。思维链是指模型在解决问题时所遵循的逻辑步骤和思考过程。QwQ 模型通过创新的架构设计和训练方法，能够将思维链完整地展示出来，使得用户可以清晰地了解模型是如何得出结论的。
QwQ模型介绍与性能实测！1/10硬件成本，性能比肩DeepSeek R1模型
fufan_LLM的博客
03-06 2387
而现在，时隔3个月，QWQ模型再度回归，和此前Preview模型不同，现在的QWQ-32B正式版模型能力暴涨，在数学、编程等推理领域的能力甚至和671B的DeepSeek R1模型相当，并在强化学习的后训练阶段，原创性的提出了多段强化学习训练法，并在每个RL训练阶段，单独专注于提升模型的某一个方面的能力，如第一个阶段训练模型代码能力、第二个阶段训练模型编程能力等。QWQ系列模型，是阿里千问模型中的推理类大模型，早在去年12月就发布了QWQ-32B-Preview预览模型，也是当时业内最早开源的推理大模型。
大模型评测【开源篇】Qwen大模型｜同样的基座，推理模型Qwq相比常规模型Qwen-instruct，到底哪里更强？
最新发布
easyllm的博客
04-11 1214
相比instruct模型，qwq总分提高了13%，十分可观。最突出的改进，除了“推理与数学计算”提升21%外，“法律”及“行政公务”都有大幅提高，分别达到20%、27%。 “推理与数学计算”方面的改进在我们预料之中，然而“法律”及“行政公务”方面的显著效果却没有那么显而易见。但仔细琢磨后会发现，医疗/教育/金融/心理健康等领域都更偏向考察知识的熟记程度，而法律/行政公务（特别是后者的行测题）更依赖于逻辑推理能力。
对标OpenAI的o1推理模型，通义千问的QwQ的基本原理，以及使用效果与应用场景，给出代码实现过程
微学AI的博客
12-06 3818
深度自省能力：QwQ展现出了令人瞩目的深度自省能力。在面对复杂的推理问题时，它能够主动质疑自身的假设，进行深思熟虑的自我对话，并仔细审视推理过程的每一步。这种能力使得QwQ在解决复杂问题时表现得更加灵活和智能。独特的推理机制：QwQ采用了独特的推理机制，使其能够在解决复杂问题时展现出卓越的表现。特别是在处理经典智力题“猜牌问题”时，QwQ能够像一个擅长思考的人类一样，揣摩“这句话有点 tricky”，并反思“等一下，也许我需要更仔细地思考”。
qwq（thinking）阿里的思考模型悄悄来了
2301_79340423的博客
02-25 416
等其他的思考模型还是短了一点，可能还是测试吧，等后面的正式推出的时候会不会优化一下。但是相对于其他的模型我实际使用起来感觉在情感和代码方面还是比较有有意思的，大家也去试试吧…,因为参数是最大的，相对其他的非思考模型里面是几乎最强的，在代码和数学问题的使用上面还是比较令人满意的。进行使用，现在还是测试，个人感觉思考链还是相对于。,今天再次上号的时候惊奇发现。深度思考模型悄悄上线公测了！
阿里-Qwen-QwQ-Max-Preview深度思考模型最新开源
晓的博客
02-27 707
QwQ-Max-Preview是阿里巴巴集团于2025年2月25日正式发布的基于通义千问Qwen2.5-Max的深度推理模型。性能表现数学能力：在MATH-500评测中，数学解题准确率达90.6%，展现出对各类数学主题的全面理解和强大的解题能力。编程能力：在LiveCodeBench评测中，编程竞赛题正确率突破50%，在真实编程场景中的代码生成和问题解决能力表现出色。推理能力：在GPQA评测中准确率达65.2%，科学推理能力达到研究生水平。在全球权威基准测试中，整体表现已超越OpenAI o1-previe
【QwQ-32B-Preview】阿里通义QwQ登场MATH测试超OpenAI o1,开源AI推理新王,为数不多可以与OpenAI o1媲美的模型之一
m0_54136051的博客
11-28 1417
阿里通义千问今天（11 月 28 日）发布《QwQ: 思忖未知之界》博文，推出了 QwQ-32B-Preview 实验性研究模型，在数学和编程领域，尤其在需要深度推理的复杂问题上，具备卓越的 AI 推理能力。它是少数能与 OpenAI 的 o1 匹敌的模型之一，并且是第一个能以宽松许可证下载的模型。QwQ-32B-Preview 在 Apache 2.0 许可证下“公开”可用，这意味着它可以用于商业应用。使用该链接注册可以获得2000万tokens体验QwQ-32B-Preview。
阿里通义千问QwQ-32B：小参数大能量，重新定义推理模型新范式
xiezhipu的博客
03-06 723
在人工智能领域，模型参数规模与性能的正相关关系曾被视为行业铁律。然而，阿里巴巴通义千问团队于2025年3月6日发布的QwQ-32B模型，以320亿参数规模实现了与6710亿参数模型DeepSeek-R1（370亿激活参数）相媲美的推理能力，彻底打破了这一固有认知。这款通过大规模强化学习（RL）技术优化的模型，不仅在数学推理、代码生成等专业领域表现卓越，更在通用能力评测中实现了多项超越，标志着AI技术从"大力出奇迹"向"精巧出智慧"的重要转折。
杰克马回归引爆AI圈，QwQ-32B强势开源，笔记本秒杀Deepseek！
qq_30680739的博客
03-07 2306
凌晨，阿里云扔出了一颗大招——。，能写代码、解数学题、逻辑推理一把抓。更夸张的是——有兴趣的可以直接试试看，。在大模型的世界，大家早已习惯了“参数越大，效果越强”这一 Scaling Law。DeepSeek-R1、GPT-4 这些巨无霸模型，依靠庞大参数量形成碾压式优势，但这意味着。阿里这次反其道而行之，，靠的是什么？QwQ-32B 通过，针对数学、编程、逻辑推理等任务进行了专项优化。在和中，。DeepSeek-R1 的 Q4 量化版，，需要四张 24GB 显存的 4090 才能跑起来。
本地部署大模型？看这篇就够了，Ollama 部署和实战
2401_85373898的博客
11-13 2195
如果要使用的模型不在 Ollama 模型库怎么办？至此，我们一起走完了 Ollama 的部署和实战流程。在我看来，Ollama 也许是目前最便捷的大模型部署和使用工具，对小白非常友好。简单的命令行操作，用户即可快速启动和管理模型，极大降低了技术门槛，用户可以专注于模型的应用，而无需关注底层技术细节。此外，Ollama 的离线运行也为数据安全提供了保障。期待大家在使用 Ollama 的过程中，发现更多有趣的 AI 应用场景。让我们一起推动大模型技术的应用落地，探索更广阔的可能性！
Qwen 发布 QWQ32B：320 亿参数的推理模型
Everly_的博客
11-30 2751
# Qwen 发布了一款新的推理模型 QWQ32B，旨在提升 AI 推理能力。Qwen 发布了 QWQ32B 模型，这是一款新的推理模型，拥有 320 亿参数。该模型在某些基准测试中表现出色，但也存在语言混用和循环推理等局限性。该模型可以本地运行，并已开放权重和演示。QWQ32B 模型的参数数量：QWQ32B 是一个 320 亿参数的模型，可以本地运行，需要较好的 GPU，如 4090。模型的开发背景：QWQ32B 是由 Qwen 团队开发的实验性研究模型，旨在提升 AI 推理能力。
手把手教你部署QWQ模型，开启高效推理之旅
zhangzhentiyes的博客
03-12 1402
在大语言模型蓬勃发展的当下，掌握模型的本地部署与调用技术，对于开发者深入探索模型性能、实现个性化应用至关重要。本文将以QWQ-32B模型为例，详细阐述其部署与调用的全流程，为大家提供一份全面且具有实操性的技术指南。
大厂员工：从差点被裁到逆势晋升，大佬教会了我…
2401_85375186的博客
08-30 1654
今天给大家分享一个小W同学的故事。我之前是一名运维工程师。一方面我需要跟进部门内的项目进度，像应用版本发版支持、环境搭建部署、数据维护处理等等；另一方面也需要负责业务需求部门的需求响应处理。工作几年后，不但压力越来越大，工作时候常常会觉得力不从心，又对未来发展感到很迷茫。因为很多工作做久了，其实都是在重复，甚至都谈不上用经验解决问题，而是像肌肉记忆一样。但这种**“顺手”没有挑战性和成长性**，它只会不断出现，用一样的办法解决就可以了。
该来的还是会来，Qwen团队开源推理大模型-QwQ！！！
2401_84204413的博客
11-28 1056
qwen，你依然是你，爱了爱了，我今年的kpi又有保证了，狗头保命。
Free QWQ - 世界首个免费无限制分布式 QwQ API
猫敷雪
03-14 700
一句话简介：基于 QwQ 32B 大语言模型的完全免费、无限制、无需注册登录的分布式 AI 算力平台。Free QWQ 是世界上第一个完全免费、无限制的分布式 AI 算力平台，基于阿里最新开源的 QwQ 32B 大语言模型提供强大的 AI 服务。通过创新的分布式算力架构，整合了来自全球的闲置显卡资源，包括个人电脑和网吧的 3090、4080、4090 等高性能显卡，构建了一个庞大的分布式计算网络。
【LLM】阿里QwQ推理模型
发现问题，并解决问题，批判性思维
03-09 294
QwQ-32B 模型：https://huggingface.co/Qwen/QwQ-32B 使用RL训练，没使用传统的奖励模型，使用数学答案检查器、代码执行器等规则奖励。 指标和ds基本持平： ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/577da2e96f834735b3e86b7f5e74f594.png) # Reference [1] https://huggingface.co/Qwen/QwQ-32B [2] https://qwenlm.
阿里发布推理模型QwQ-32B-Preview，性能超OpenAI o1-preview
bagell的博客
11-29 2625
今天，阿里巴巴的 Qwen 团队发布了其最新的推理模型 QwQ-32B-Preview。该模型拥有 325 亿参数，并能处理约 32,000 个 Token 的提示词。值得注意的是，它是首个可以在宽松许可下下载使用的模型。试用链接：https://huggingface.co/spaces/Qwen/QwQ-32B-preview根据官网介绍，QwQ-32B-Preview 是为数不多的可以与 OpenAI 的 o1 相媲美的模型之一。
vllm部署qwq-32b模型
03-20
<think>嗯，用户想了解如何部署qwq-32b模型到VLLM平台上。首先，我需要回忆一下VLLM的基本知识。VLLM是一个高效推理和部署框架，支持大规模语言模型，特别是优化了自回归模型的推理速度。那部署模型的一般步骤是什么呢？通常需要安装环境、下载模型、配置参数、启动服务。 接下来，用户提到的qwq-32b模型，我需要确认是否有相关的引用信息。查看用户提供的引用内容，引用[1]提到了模型下载的路径，引用[2]和[3]则涉及部署中的注意事项，比如量化版本和tokenizer的问题。特别是引用[3]提到需要修改tokenizer_config.json文件来解决输出问题，这可能是一个关键步骤。 首先，安装VLLM。用户可能需要安装最新版本，使用pip命令。然后，下载模型，根据引用[1]的路径，使用modelscope或者git lfs下载。需要注意模型文件的大小，引用[2]提到量化版本可能更适合消费级显卡，比如4bit的20G版本，这可能影响用户的选择。 然后配置环境，可能需要设置CUDA环境变量。启动服务时，使用vllm的命令行工具，指定模型路径、tensor并行数等参数。如果遇到不输出<think>的问题，引用[3]的解决方法是修改tokenizer配置文件，删除相关token，这需要用户找到对应的json文件进行调整。 还需要考虑硬件要求，比如GPU显存是否足够。如果用户使用消费级显卡，可能需要量化模型，如引用[2]提到的。此外，部署后如何测试服务，比如使用curl或Python客户端发送请求，验证是否正常工作。 可能用户遇到的问题包括模型路径错误、显存不足、tokenizer配置问题等，需要逐一排查。总结步骤应该是：安装依赖→下载模型→调整配置→启动服务→验证测试。同时，提醒用户注意量化版本的选择和可能的配置调整，确保部署顺利。</think>### 分步教程：使用vLLM部署QwQ-32B模型 #### 一、环境准备 1. 安装CUDA驱动 确保显卡驱动支持CUDA 11.8+，通过命令验证： ```bash nvidia-smi ``` 2. 创建虚拟环境（推荐） ```bash conda create -n vllm python=3.9 conda activate vllm ``` #### 二、模型下载 1. 通过ModelScope获取完整模型（需约60GB显存）： ```bash pip install modelscope python -c "from modelscope.hub.snapshot_download import snapshot_download; snapshot_download('Qwen/QwQ-32B', cache_dir='./QwQ-32B')" [^1] ``` 2. （可选）下载4bit量化版本（约20GB）： ```bash ollama pull QwQ-32B:4bit ``` #### 三、vLLM安装与配置 1. 安装最新版vLLM： ```bash pip install vllm ``` 2. 修改tokenizer配置（解决不输出<think>问题）： ```bash vim ./QwQ-32B/tokenizer_config.json # 删除"<think>"相关配置项[^3] ``` #### 四、启动推理服务 1. 基础启动命令（需A100 80G*2）： ```bash python -m vllm.entrypoints.openai.api_server \ --model ./QwQ-32B \ --tensor-parallel-size 2 \ --gpu-memory-utilization 0.95 ``` 2. 消费级显卡启动（如RTX 3090 24G*2）： ```bash python -m vllm.entrypoints.openai.api_server \ --model QwQ-32B:4bit \ --quantization awq \ --dtype half \ --tensor-parallel-size 2 ``` #### 五、服务验证 1. Python客户端测试： ```python from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1") response = client.chat.completions.create( model="QwQ-32B", messages=[{"role": "user", "content": "解释量子纠缠"}] ) print(response.choices[0].message.content) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值