Re 82：读论文：qwen 3

最新推荐文章于 2025-10-09 12:16:32 发布
原创 最新推荐文章于 2025-10-09 12:16:32 发布 · 1.6k 阅读 · 25 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#LLM #阿里 #Qwen #千问 #Qwen3

诸神缄默不语-个人技术博文与视频目录
诸神缄默不语的论文阅读笔记和分类

这是阿里千问模型的2025年新版本。我之前简单列举过Qwen 2.5的一些资料和特质：阿里大模型：Qwen2.5

概括地讲，Qwen 3是一个先进的语言大模型，权重小，性能好（实验结果是同尺寸模型下，效果好，而且推理代价小），完全开源权重，有一系列权重，包括稠密的和MoE的（旗舰模型Qwen3-235B-A22B是MoE的）。小模型是由大模型蒸馏出来的。
所有模型权重都可以用prompt或prompt模版来自主切换推理和非推理模式，就不用像以前如果想从推理模式切换非推理模式需要换模型（如以前就得从Qwen 2.5切换到QwQ才能实现推理模式）。
引入了思考预算机制（thinking budget mechanism），可以由用户在推理时动态分配计算资源（控制思维链的深度），更好地平衡复杂推理能力和答案生成速度。

论文下载网址：https://arxiv.org/abs/2505.09388

官方博客：https://qwenlm.github.io/zh/blog/qwen3/
官方GitHub项目：https://github.com/QwenLM/Qwen3

官方大模型试用网站：https://chat.qwen.ai/

官方agent GitHub项目：https://github.com/QwenLM/Qwen-Agent

论文和代码我打了个包，可以直接下：

我用夸克网盘给你分享了「20250621Qwen3」，点击链接或复制整段内容，打开「夸克APP」即可获取。
/~d401372Bc2~:/
链接：https://pan.quark.cn/s/1da01cfd16e3

因为这种大模型的论文都是钞能力，所以我就不太想详细写实验细节了，因为很多都用不到，等我用到了我会回来加的。结果部分我也不太想写，都好意思发出来了实验效果肯定写最好的那一版嘛，cherry-pick，不寒碜！所以我实验结果就直接截图了表格，我觉得还挺不言自明的。
对模型的效果定性评估我过后可能会再出一版。

附录我只看了，没有列进来。

文章目录

1. 模型架构

在这里插入图片描述

Qwen 3稠密模型的架构类似于Qwen 2.5：
Grouped Query Attention (GQA)
SwiGLU
RoPE1
RMSNorm with pre-normalization

删除了QKV-bias

引入了QK-Norm

在这里插入图片描述
Qwen3 MoE引入了fine-grained expert segmentation和global-batch load balancing loss，删除了shared experts

1. 分词器

Qwen’s tokenizer：属于byte-level byte-pair encoding (BBPE)

2. 训练流程

1. 预训练

数据来源包括：①微调Qwen2.5-VL从PDF中提取文本。②用Qwen2.5-Math生成数学内容，用Qwen-2.5-Coder生成编程内容。（更多细节略）

第一步：用30T token预训练，让模型学习通用知识。
第二步：用STEM等知识密集型数据（5T）让模型学习推理能力。
第三步：用长上下文训练，将模型上下文最大长度从4,096拓展到32,768。
（需要注意的是，虽然模型原生最大输入token数为32,768，但通过RoPE系编码（如YaRN）可以将上下文长度扩展到131,072 tokens）

最优超参数预测通过scaling laws实现

2. 后训练

在这里插入图片描述

第一步：长CoT冷启动微调
用Qwen-2.5选择复杂且易评估结果正确性的问题，标记并平衡问题领域。对于这些问题，用QwQ-32B生成一组CoT回答候选，如果QwQ-32B无法回答就用人工标注，最终生成CoT数据集（论文里好像没提这一段是哪来的，我寻思应该是人工标来的）。

第二步：推理RL（对数学和编程任务）
数据集是query-verifier对
GRPO

第三步：用含和不含推理路径的数据来微调（让模型获得切换思考和不思考模式的能力）
在这里插入图片描述
在这一步引入了思考预算机制（thinking budget mechanism）：“Considering the limited time by the user, I have to give the solution based on the thinking directly now.\n</think>.\n\n”

第四步：下游任务RL
提高模型的Instruction Following、Format Following、Preference Alignment、Agent Ability和对特定场景（如Retrieval-Augmented Generation (RAG)）的能力。

蒸馏：
第一步：Off-policy Distillation：就是常规的大模型蒸馏操作，用大模型的输出来蒸馏小模型。
第二步：On-policy Distillation：用小模型的输出来跟大模型对齐（KL散度），提升小模型的效果。

3. 实验结果

1. 预训练阶段

旗舰大模型：
在这里插入图片描述

Qwen3-32B-Base：
在这里插入图片描述

蒸馏出的小模型：
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2. 后训练阶段

1. 数据集

多语言数据集：
在这里插入图片描述

2. 对比实验结果

旗舰模型思考版：
在这里插入图片描述

旗舰模型不思考版：
在这里插入图片描述

Qwen3-32B：
在这里插入图片描述

在这里插入图片描述

小模型：
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

3. 实验分析

增加thinking budget的token，会提升模型效果（这不是废话吗）（但有时一些结论不言而喻的实验也是得做的，也是有其意义的，也是有可能出现反常识结果的，但是显然这个不是）：
在这里插入图片描述

证明On-Policy Distillation的效果（跟直接RL对比）
在这里插入图片描述

stage2、3、4的效果：
在这里插入图片描述

在这里插入图片描述

  1. 我之前写过论文阅读笔记：Re 79 读论文：RoPE RoFormer: Enhanced Transformer with Rotary Position Embedding ↩︎

论文阅读：2025 arxiv Qwen3 Technical Report
CSPhD-winston的博客
06-24 1287
Qwen3技术报告摘要 Qwen3是一系列最新的大型语言模型，包含从6亿到2350亿参数的不同规模模型，采用密集型和混合专家架构。其核心创新在于将思考模式（复杂推理）与非思考模式（快速响应）整合到统一框架中，并引入思考预算机制以优化计算资源分配。该模型在多语言能力上有显著提升，支持119种语言和方言，训练数据达36万亿tokens。评估显示Qwen3在代码生成、数学推理等任务上达到最先进水平，部分基准表现超过同类模型。2350亿参数的旗舰MoE模型在多个专业测试中取得优异表现。模型采用三阶段预训练和多阶段后
论文翻译：QWEN2 TECHNICAL REPORT
CSPhD-winston的博客
10-09 946
本报告介绍了Qwen2系列，这是我们大型语言模型和大型多模态模型的最新成员。我们发布了一套全面的基础和指令调优语言模型，涵盖了从0.5亿到720亿的参数范围，包括密集模型和专家混合模型。Qwen2超越了大多数以前的开放权重模型，包括其前身Qwen1.5，并在语言理解、生成、多语种熟练度、编程、数学和推理等多样化基准上展现出与专有模型相竞争的性能。在MMLU上得分84.2，在GPQA上得分37.9，在HumanEval上得分64.6，在GSM8K上得分89.5，在BBH上得分82.4。
盘点2024 Arxiv高引用论文Top10，Deekseek Qwen LLaMA3入选 | AI大咖说
人工智能微客/aiweker
02-07 1774
论文重点介绍了Deep Seek Coder模型的强大功能，该模型通过对包含两万亿个token的海量数据集进行广泛的代码预训练，在代码相关任务中取得了最佳结果，甚至超越了Codex和GPT-3.5等闭源模型。此外，论文还强调了训练过程的透明度，为研究界提供了宝贵的见解。Meta分享了创建多达450亿个参数的最先进的语言模型的确切步骤，使得这篇论文成为任何对大型语言模型最新进展感兴趣的人的必读之作。通过综合最新的研究，该论文对LLM的现状和未来发展方向提供了全面的了解，有助于推动LLM技术的进一步发展。
Qwen3-VL 全面解析：从 Qwen2-VL → Qwen2.5-VL → Qwen3-VL 的三代进化
最新发布
m0_38097087的博客
10-09 5668
是目前 Qwen 家族最强的视觉-语言模型，支持，上下文长度，视频理解更强，更稳，OCR 扩到；适合复杂多模态工作流与视频/长文档检索总结。在 2 代基础上大幅增强等能力；开源有等尺寸可选，并提供。的核心创新是与，统一处理，提供尺寸，奠定了后续系列的高分辨率与视频建模底座。
【多模态大模型】QWen2.5 VL 论文解读
songxia928_928的博客
03-12 4380
回到文章“Qwen2.5-VL Technical Report”，文章介绍了Qwen2.5-VL视觉语言模型，通过优化架构、改进训练方法和扩充数据，提升多模态理解与交互能力，在多任务中表现出色。研究背景与问题：大视觉语言模型（LVLMs）整合视觉感知和自然语言处理，推动了人工智能在多领域的发展，但当前模型存在计算复杂、上下文理解有限、细粒度视觉感知差和处理不同长度序列表现不稳定等问题。Qwen2.5-VL旨在解决这些问题，探索细粒度感知能力，增强多模态推理，打造更强大的视觉语言模型。贡献架构创新优化。
Qwen3论文研读
世上再无张显宗
07-29 1240
qwen3论文研读
【读论文】从Qwen3技术报告到Qwen3-30B-A3B 模型的深度解读
kakaZhui的博客
08-02 1462
最近都是各种新大模型满天飞，其中Qwen3-30B-A3B-Instruct-2507很是亮眼，这种参数尺寸是相对友好的，效果好而且模型不大。Qwen3-30B-A3B 作为一个仅有 3B 激活参数的轻量级 MoE 模型，在多个基准测试中，展现了令人惊叹的“逆袭”能力。对于 Qwen3-30B-A3B 等轻量级模型，从头走一遍四阶段的后训练流程成本过高。的策略，将旗舰模型（如 Qwen3-32B 或 Qwen3-235B-A22B）的知识高效地迁移过来。：Qwen3-30B-A3B 的架构，通过。
Qwen 论文阅读记录
qq_42563807的博客
12-10 2044
QWEN 是一个全面的语言模型系列，包含参数数量不同的多个独立模型。and以上两句话可以根据下图综合理解：We then这些聊天模型在创建代理应用方面，具备先进的工具使用和规划能力，即使在执行如使用代码解释器等复杂任务时，与更大的模型相比也展现出了令人印象深刻的性能。它们还可以充当通用代理，与外部系统、工具和模型协作，以实现人类设定的目标。
Logic-RL：小参数qwen模型复现DeepSeek R1 zero
kakaZhui的博客
03-18 297
最近很多参照DeepSeek模型训练推理模型的工作，本文将深入 “Logic-RL: Unleashing LLM Reasoning with Rule-Based Reinforcement Learning” 的论文，该论文提出了一种新颖的规则驱动强化学习（Rule-Based Reinforcement Learning, Logic-RL）框架，旨在提升 LLM 的逻辑推理能力。
Qwen2 技术报告（中文版）
热门推荐
木尧大兄弟
07-17 1万+
这篇技术报告介绍了Qwen2系列，这是我们大型语言模型和大型多模态模型系列中的最新成员。我们发布了一套全面的基础和指令调整语言模型，参数范围从0.5b 到 72b，包括稠密模型和专家混合模型。Qwen2在包括语言理解、生成、多语言能力、编码、数学和推理在内的多个基准测试中，超越了大多数以前的开放权重模型，包括其前身Qwen1.5，并且与专有模型表现出竞争力。
千问上新模型！Qwen3快速完成学术初稿能力怎么样？快！体验就是一个快！几分钟完成了全部流程！
huangnan29的博客
05-08 519
本文探讨了如何利用Qwen3模型辅助学术论文写作，特别是在选题、摘要、关键词、引言、正文和结论等部分的撰写。通过Qwen3的提示词功能，用户可以快速生成符合学术规范的论文内容。文章以《基于强化学习的动态信号处理策略优化研究》为例，展示了Qwen3在选题、摘要撰写、关键词选择、引言编写、正文大纲设计以及结论总结等方面的应用。Qwen3不仅能够提供精准的选题建议，还能生成结构清晰、内容专业的论文框架，帮助研究者高效完成学术写作。此外，文章还强调了AI工具在学术写作中的潜力，特别是在动态信号处理等复杂领域的应用。
论文总结《QWEN TECHNICAL REPORT》
weixin_43344118的博客
12-18 763
预训练阶段的目标是通过学习大量数据来获得对世界的全面理解，包括基本的语言能力以及高级技能如算术、编码和逻辑推理。对齐部分讨论了如何通过监督微调（SFT）和基于人类反馈的强化学习（RLHF）来训练QWEN模型，以提高其与人类行为的一致性。这两部分展示了QWEN模型如何通过预训练和对齐技术来提高其在多种任务和领域中的性能。
Qwen3：新时代的革新，还是黎明前的流星？
兴趣使然的创作者
04-30 2384
2025年4月29日，凌晨五点多，Qwen3发布。不得不感叹阿里人真卷呀，在这个点发布新产品。
rust-candle学习笔记9-使用tokenizers加载qwen3分词，使用分词器处理文本
zhuziheniaoer的博客
05-08 716
rust-candle学习笔记9-使用tokenizers加载qwen3分词，使用分词器处理文本
Qwen3开源最新Embedding模型
u011426236的博客
06-08 907
Qwen3-Embedding 是构建于 Qwen3 基础模型上的新一代文本嵌入与重排序模型系列，显著提升了多语言理解、代码检索与复杂指令任务中的表现。该系列模型覆盖三个参数规模（0.6B、4B、8B），并通过多阶段训练策略，结合大规模弱监督合成数据、有监督微调与模型融合，最终在多个基准测试中取得了当前最优性能。
Qwen3超前分析报告：Transformers PR代码完全解读~
CV_Autobot的博客
04-25 1559
为保证恒定的计算成本，激活的路由专家将减少相应的数量，如上图所示。从对比代码中看，Qwen3_moe删除了共享专家部分，这里猜测Qwen团队应该是做了相关的实验，笔者之前也猜测15B应该是他们MoE的最低门槛参数量的模型，应该还有更大的模型，而该模型框架要适配他们所有的MoE模型的，因此应该是有没有共享专家机制都不会影响最终的模型性能，而使用了共享专家机制的话shared_experts需要过多的资源，其他的专家所在的设备有可能不能有效利用，因此综合考虑之后Qwen团队选择直接删掉该模块也是合情合理的。
Qwen3技术报告的几点细节、ArXiv论文翻译实现方案及试错历程
bagell的博客
05-14 880
插入该指令后，模型会基于到那时为止积累的推理生成最终回应。
Qwen3技术报告解读
2401_84495872的博客
05-14 1260
上个月29日，Qwen3开源了一系列模型，包括6个Dense模型和2个MoE模型，这些模型在架构上与Qwen2.5相似，但进行了多项优化，如移除QKV偏置和引入QK-Norm。预训练数据涵盖36TTokens，涉及119种语言和方言，分为通用、推理和长上下文三个阶段。后训练流程包括思考控制和强到弱蒸馏，旨在优化模型推理能力和减少计算成本。Qwen3还通过CoT冷启动和推理强化学习进一步提升了模型的推理能力。此外，Qwen3设计了聊天模板，允许用户动态切换模型的思考过程。通用强化学习阶段则增强了模型在多种场景
Qwen3开源最新Embedding模型，一文详解文本嵌入与重排序！！
datian1234的博客
06-10 1988
Qwen3-Embedding 是构建于 Qwen3 基础模型上的新一代文本嵌入与重排序模型系列，显著提升了多语言理解、代码检索与复杂指令任务中的表现。该系列模型覆盖三个参数规模（0.6B、4B、8B），并通过多阶段训练策略，结合大规模弱监督合成数据、有监督微调与模型融合，最终在多个基准测试中取得了当前最优性能。
Error: unsupported architecture "Qwen3ForCausalLM"
08-27
<think>首先，用户的问题是关于“unsupported architecture &#39;Qwen3ForCausalLM&#39;”的错误。这看起来像是一个模型加载错误，可能发生在使用像Hugging Face Transformers这样的库时。用户可能在尝试加载一个名为Qwen3ForCausalLM的模型，但他们的环境不支持它。 我需要回想一下Qwen是什么。Qwen是阿里巴巴开源的AI模型系列，包括语言模型。Qwen3可能是其最新版本。CausalLM通常指因果语言模型，用于文本生成。 错误“unsupported architecture”表明代码或库版本不兼容。可能的原因： 1. **Transformers库版本过旧**：如果用户使用的是旧版本的Hugging Face Transformers库，它可能不支持Qwen3模型，因为Qwen3是较新的。 2. **模型名称错误**：用户可能错误地输入了模型名称，或者模型在库中注册的名称不同。 3. **环境配置问题**：缺少必要的依赖项，如PyTorch或TensorFlow版本不匹配。 4. **模型文件损坏或缺失**：如果用户下载了模型但文件不完整。 5. **框架不兼容**：Qwen模型可能只支持特定框架，如PyTorch或TensorFlow。 用户提到了引用[1]和[2]，但这些引用似乎不相关。引用[1]是关于查询压缩的数学描述，引用[2]是关于在Ubuntu上安装OpenCL的指南。用户说这些引用仅供参考，不是真正的需求。所以，我应该忽略它们，专注于用户的问题。 用户真正的需求是解决“unsupported architecture &#39;Qwen3ForCausalLM&#39;”错误。我需要提供解决方案。 步骤来解决这个问题： 1. **更新库**：建议用户更新Hugging Face Transformers库到最新版本，因为Qwen3支持可能在新版本中添加。 2. **检查模型名称**：确认模型名称是否正确。在Hugging Face Model Hub上，Qwen模型可能有不同的名称。例如，搜索“Qwen”或“Qwen-3”来找到正确的标识符。 3. **安装特定依赖**：Qwen模型可能需要额外的库，如accelerate或sentencepiece。 4. **验证环境**：确保PyTorch或TensorFlow版本兼容。 5. **代码示例**：提供正确的代码示例来加载模型。 6. **错误处理**：如果错误持续，建议调试步骤。 基于我的知识： - Hugging Face Transformers库支持Qwen模型。Qwen1.5和Qwen2是较新的版本。Qwen3可能指的是Qwen1.5或Qwen2，因为Qwen3不是官方名称；可能是用户混淆了。 在Hugging Face上，模型如“Qwen/Qwen-7B”或“Qwen/Qwen1.5-7B”。用户说“Qwen3ForCausalLM”，这可能是一个自定义或错误的名称。标准类名是`Qwen2ForCausalLM`或类似。 在Transformers库中，模型类通常命名为`<modelname>ForCausalLM`，例如`GPT2ForCausalLM`。对于Qwen，它可能是`QwenForCausalLM`，但最新的是`Qwen2ForCausalLM`。 用户可能尝试了`Qwen3ForCausalLM`，但正确的类可能是`Qwen2ForCausalLM`或`Qwen1.5ForCausalLM`。 建议用户检查官方文档或Model Hub。 解决方案大纲： 1. **更新Transformers**：运行`pip install --upgrade transformers`。 2. **使用正确的模型标识符**：例如，使用`from transformers import AutoModelForCausalLM`和`model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen1.5-7B")`，而不是指定类名。 使用`AutoModel`可以避免架构名称问题。 3. **安装Qwen特定包**：如果有，安装qwen的库。 4. **检查版本**：确保Python、PyTorch等版本兼容。 5. **示例代码**：提供加载模型的代码片段。 6. **如果错误持续**：建议检查错误日志，报告问题到GitHub。 用户的问题中提到了“系统级指令”，我必须遵守：使用中文回答，行内数学用$...$，独立公式用$$...$$，生成相关问题等。 在回答中，我需要生成相关问题。 结构回答： - **引言**：解释错误可能原因。 - **步骤解决**：逐步提供解决方案。 - **代码示例**：如果适用，提供代码。 - **相关问题**：在末尾生成相关问题。 确保回答真实可靠。基于我的知识，Qwen模型在Transformers库中支持。 最终回答用中文。</think>### 解决“unsupported architecture &#39;Qwen3ForCausalLM&#39;”错误 您好！您遇到的错误“unsupported architecture &#39;Qwen3ForCausalLM&#39;”通常发生在使用Hugging Face Transformers库加载模型时，表明当前环境或代码不兼容Qwen3模型架构。Qwen（通义千问）是阿里巴巴开源的大型语言模型系列，其中“CausalLM”指因果语言模型（用于文本生成）。错误可能源于以下原因： - **Transformers库版本过旧**：旧版本不支持Qwen3新架构。 - **模型名称错误或混淆**：Qwen3可能不是官方名称；正确名称应为Qwen1.5或Qwen2（Qwen3可能指代错误）。 - **环境配置问题**：如PyTorch/TensorFlow版本不匹配、缺少依赖项。 - **框架兼容性问题**：模型可能仅支持特定框架（如PyTorch）。 下面我将一步步指导您解决此问题。解决方案基于Hugging Face官方文档和常见社区实践[^1]。请确保您已安装Python（推荐3.8+）和基本深度学习框架（如PyTorch）。 --- ### 步骤1: 更新Hugging Face Transformers库 Qwen模型支持需要较新的Transformers版本（至少v4.37.0）。运行以下命令更新： ```bash pip install --upgrade transformers ``` - 如果使用GPU，确保PyTorch与CUDA兼容（例如`pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121`）。 - 安装Qwen特定依赖（如适用）： ```bash pip install accelerate sentencepiece ``` --- ### 步骤2: 使用正确的模型加载方式 避免直接指定`Qwen3ForCausalLM`（此类名不存在），改用`AutoModelForCausalLM`自动处理架构。以下是正确代码示例： ```python from transformers import AutoTokenizer, AutoModelForCausalLM # 使用官方模型标识符（Qwen1.5或Qwen2） model_name = "Qwen/Qwen1.5-7B" # 示例：7B参数模型，可替换为"Qwen/Qwen1.5-14B"等 tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto") # device_map="auto"支持GPU加速 # 测试生成文本 input_text = "你好，世界！" inputs = tokenizer(input_text, return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_new_tokens=50) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` - **关键点**： - 官方模型Hub名称：在[Hugging Face Model Hub](https://huggingface.co/Qwen)搜索“Qwen1.5”或“Qwen2”（如`Qwen/Qwen1.5-7B-Chat`用于聊天模型）。 - 如果仍报错，检查模型名称是否正确（无“Qwen3”前缀）。 - 使用`device_map="auto"`可自动分配GPU资源[^1]。 --- ### 步骤3: 验证环境配置 环境不兼容是常见原因。运行以下代码检查版本： ```python import transformers import torch print(f"Transformers version: {transformers.__version__}") print(f"PyTorch version: {torch.__version__}") print(f"CUDA available: {torch.cuda.is_available()}") # 确保GPU支持 ``` - **要求**： - Transformers ≥ v4.37.0（Qwen1.5需要v4.37+）。 - PyTorch ≥ 2.0.0 或 TensorFlow ≥ 2.12.0。 - 如版本过低，升级：`pip install --upgrade torch transformers`。 - 如果缺少CUDA，安装对应驱动（参考[NVIDIA文档](https://www.nvidia.com/download/index.aspx)）。 --- ### 步骤4: 处理持续错误 如果以上步骤无效： 1. **检查错误日志**：运行代码时捕获完整错误信息（可能提示缺失依赖）。 2. **清理缓存**：删除模型缓存文件（默认在`~/.cache/huggingface/hub`）。 3. **使用虚拟环境**：创建新环境避免冲突： ```bash python -m venv qwen_env source qwen_env/bin/activate # Linux/macOS pip install transformers torch ``` 4. **报告问题**：如果确认是库bug，在[Hugging Face GitHub Issues](https://github.com/huggingface/transformers/issues)报告。 --- ### 常见问题解答 - **为什么没有“Qwen3ForCausalLM”类？** Qwen官方架构名为`Qwen2ForCausalLM`或`Qwen1.5ForCausalLM`（在Transformers v4.37+中）。使用`AutoModel`可避免手动指定类名。 - **模型加载慢或失败？** 确保网络通畅，或先下载模型到本地： ```python model = AutoModelForCausalLM.from_pretrained("./local-qwen-dir") # 本地路径 ``` - **性能优化提示**：使用量化（如bitsandbytes）减少内存占用： ```python model = AutoModelForCausalLM.from_pretrained(model_name, load_in_4bit=True) ``` ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值