甭管是个人还是企业都能部署的Mistral-Small3.1，远超同级别的模型

最新推荐文章于 2025-08-24 08:30:00 发布
原创 最新推荐文章于 2025-08-24 08:30:00 发布 · 925 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Gemma3 #QwQ-32B #小钢炮 #Ollama #torch #小模型 #量化版

本文已首发于 秋码记录
微信公众号：你我杂志刊
在这里插入图片描述

如果你也想搭建一个与秋码记录一样的网站，可以浏览我的这篇 国内 gitee.com Pages 下线了，致使众多站长纷纷改用 github、gitlab Pages 托管平台

秋码记录网站使用的主题是开源的，目前只在github.com开源。
hugo-theme-kiwi开源地址：https://github.com/zhenqicai/hugo-theme-kiwi

这不Gemma3刚开源出来，立马炸裂了整个“科技界”，还没等它把“热度”持续火下去，Mistral-Small3.1却再次掀起了“科技界”的热度。

Mistral-Small3.1是Mistral AI推出的240亿参数开源多模态模型，基于Transformer架构优化设计，核心特性包括：

  • 多模态支持：支持文本与图像结合的任务处理，扩展了应用场景边界。
  • 128k超长上下文窗口：可一次性处理长篇文档或复杂对话，显著优于前代的32k窗口。
  • 高效推理引擎：采用量化技术优化推理速度，每秒处理150个token，延迟低至毫秒级，适合实时交互场景。
  • 本地化部署能力：支持在RTX 4090显卡或32GB内存的Windows设备上运行，通过Ollama等工具实现轻量化部署.

在这里插入图片描述

通过Ollama部署

那么，接下来，我们在本地通过Ollama来部署Mistral-Small3.1。

如果你还没安装Ollama的话，那么，你可以去它的官网进行下载安装，Ollama官网。

我这里选择了量化版，根据自己电脑的硬件设备来下载对应的量化版本。

在这里插入图片描述

拷贝命令，直接黏贴到Terminal中。

ollama run MHKetbi/Mistral-Small3.1-24B-Instruct-2503:q6_K_L

在这里插入图片描述

在这里插入图片描述

主要特性和功能

  • 轻量级：Mistral Small 3.1 可以在单个 RTX 4090 或具有 32GB RAM 的 Mac 上运行。这使其非常适合设备上的使用情况。
  • 快速响应对话帮助：非常适合虚拟助手和其他需要快速、准确响应的应用程序。
  • 低延迟函数调用：能够在自动化或代理工作流程中快速执行函数
  • 针对专业领域进行微调：Mistral Small 3.1 可以针对特定领域进行微调，打造精准的主题专家。这在法律咨询、医疗诊断和技术支持等领域尤其有用。
  • 高级推理的基础：社区在开放的 Mistral 模型之上构建模型的方式继续给留下深刻印象。仅在过去几周，就看到了几个基于 Mistral Small 3 构建的出色推理模型，例如Nous Research 的DeepHermes 24B。为此，发布了 Mistral Small 3.1 的基础和指令检查点，以便进一步对模型进行下游定制。

如果你本地电脑硬件资源有限的话，那么是可以前往Mistral 官方平台上使用，上面是满血版【点击前往】

AI应用架构师实战：企业数字空间设计中选大模型还是小模型？
小白菜的博客
08-31 800
在企业数字化转型的关键阶段，AI模型选择已成为架构师面临的核心决策挑战。本文从第一性原理出发，系统剖析了大模型与小模型在企业数字空间设计中的战略定位与技术权衡。通过构建"五维评估框架"，我们深入分析了计算效率、数据需求、定制化能力、安全合规和总拥有成本等关键决策因素，并提供了可操作的模型选择算法与实施路径。文章详细阐述了纯大模型架构、纯小模型架构及混合架构的适用场景，通过12个行业案例揭示了不同策略的实际效果与陷阱。
国产模型能否挑战 GPT-4？一文拆解 DeepSeek-V3 架构与实战应用
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
03-23 1800
DeepSeek-V3 是当前开源领域最接近 GPT-4 的中文大模型，采用稀疏激活的 MoE 架构，实现了“性能强大、成本可控”的理想平衡。它支持 128K 超长上下文、具备出色的中文理解与生成能力，并全面开源可商用，适合私有部署与行业落地。本文将系统解析 DeepSeek-V3 的架构原理、训练策略、部署方法与应用实战，涵盖从 ChatGPT 式助手到企业知识问答系统的完整路径，帮助你用好这个真正能“落地”的强大国产大模型。
Mistral Small 3.1 24B开源大模型来袭，一起来看看都有什么货！
直达开源前线，冲冲冲！
03-20 523
Mistral Small 3.1 24B开源模型来袭，一起来看看都有什么货！
Mistral杀回来了，Small 3.1发布，性能完胜Gemma 3，4090可跑。
lythinking的博客
03-18 1137
号称 “小 3.1”，但能力不 “小”。“ 还有，有些地方 Mistral Small 3.1 只是勉强赢了 Gemma3-it-27b，之前 3.0 可是碾压的啊，这啥情况？反方表示，GPT-4 级别大模型的 “底蕴” 还是在那儿，小模型就算加了 RL 也比不了， “隐含知识” 就是值钱。对此，网友表示：“ 最近的模型，都喜欢挑对自己有利的测试，Mistral 更狠，直接无视中国的模型…对比的模型也怪怪的。Mistral Small 3.1 参数多、支持多语言、多模态，还没啥限制，就是推理能力差点意思。
Mistral Small 3.1 震撼发布——AI行业的小钢炮
2501_90357013的博客
04-04 692
这款被誉为“AI界小钢炮”的模型，凭借其惊人的性能和速度，一经发布便引发了广泛关注，直接叫板Google Gemma 3、OpenAI GPT-4o Mini以及Anthropic Claude 3.5 Haiku等同量级对手。：不仅限于文本，Mistral Small 3.1在多模态理解方面也进行了全面升级。：视频评测中特别强调，经过测试，Mistral Small 3.1的中文理解能力“非常强悍”。，这在实际应用中意味着更快的响应速度和更流畅的交互体验。的（根据Apache 2.0许可发布）！
开源AI核弹级更新！Mistral Small 3.1实测：碾压GPT-4o Mini的本地化神器
weixin_44626085的博客
04-25 486
你绝对想不到，这款完全开源的人工智能模型，竟然在本地部署实测中把GPT-4o Mini按在地上摩擦！当科技巨头还在云端厮杀时，法国AI新贵Mistral AI突然扔出一枚深水炸弹——Mistral Small 3.1。这个支持128k超长文本窗口的开源模型，在本地部署实测中跑出了每秒150个token的惊人速度，直接改写开源AI的游戏规则！
24B参数模型碾压gpt4o-mini！推理速度超快！vLLM本地部署Mistral-Small 3.1+全方位测试多模态大模型！超越Gemma3.1，最适合企业项目的大模型！中文OCR能力也不弱
m0_71165399的博客
03-18 1320
Mistral Small 3.1 是一款轻量级、高性能的 AI 模型，专为低延迟任务设计。相比前代 Mistral Small 3，3.1 版本在文本处理能力上显著提升，并新增了多模态功能，可同时处理文本和图像输入。其上下文窗口高达128k 标记（token），推理速度达到150 个标记每秒，效率令人惊叹。这款模型的最大亮点在于其开源性质，采用 Apache 2.0 许可证，用户可以免费下载、修改和部署。无论是个人开发者还是企业用户，都能根据需求进行定制。
Qwen 发布 Qwen2.5-VL-32B 模型：更智能、更轻便​
llm_way的博客
03-28 1496
Qwen2.5-VL-32B 模型的发布，为人工智能的发展注入了新的活力。从未来发展趋势来看，多模态人工智能将朝着更加智能、高效、个性化的方向发展。Qwen 团队可能会进一步优化模型，提升其在更多复杂任务上的表现，拓展模型的应用领域。
未来边缘计算架构，提示工程架构师的提示优化3大实战技巧
Golang编程笔记的博客
08-12 406
在数字化转型的浪潮中，边缘计算作为连接物理世界与数字智能的关键枢纽，正面临着前所未有的机遇与挑战。随着AI模型规模的爆炸式增长与边缘设备资源的受限性之间的矛盾日益突出，传统的模型部署与推理方式已难以满足未来边缘计算架构对实时性、可靠性与隐私性的严苛要求。：未来边缘计算架构需要在资源受限、网络不稳定、异构环境下实现高效的AI推理，而直接部署大型语言模型(LLM)面临着计算资源不足、响应延迟高、能耗过大等问题。
Elite Polarization in European Parliamentary Speeches: a Novel Measurement Approach
最新发布
c_cpp_csharp的专栏
08-24 157
本文提出了一种利用大型语言模型（LLMs）测量政治精英极化的新方法，通过分析议会演讲中政客对其他政治实体的提及及情感态度，构建“精英极化指数（EPS）”，以量化精英间的相互敌意。研究背景：精英极化（如政客间的情感敌意）对民主制度影响显著，可能导致立法阻碍、宪政危机甚至民主崩溃，但现有测量方法受限于特定国家、时间或手动编码，缺乏跨国家、长时序的可靠数据。方法创新。
Mistral Small 3.1：240亿参数多模态黑马！128k长文本+图像分析，推理速度150token/秒
士多啤梨先生の博客
03-18 866
Mistral Small 3.1 是 Mistral AI 开源的多模态人工智能模型，具备 240 亿参数，支持文本和图像处理，推理速度快，适合多种应用场景。
单卡4090就能跑！Mistral开源多模态小模型3.1：128K上下文+超低延迟，性能碾压GPT-4o Mini
nulifancuoAI的博客
03-18 680
法国AI公司Mistral AI于2025年3月18日正式开源Mistral Small 3.1，这是一款参数规模为240亿（24B）的多模态模型。凭借其128K超长上下文窗口和每秒150 tokens的处理速度，该模型在性能上超越GPT-4o Mini、Gemma 3等竞品，同时仅需单张RTX 4090显卡或32GB内存的Mac设备即可流畅运行，真正实现“小身材，大能量”。
不只有中美！法国AI公司今天发布多模态大模型 Mistral-Small-3.1
03-18 875
Mistral Small 3.1 具有轻量级设计，能够在单个 RTX 4090 或 32GB RAM 的 Mac 上运行，推理速度达到150 token/秒，适合在资源有限的设备上部署。Mistral Small 3.1 是法国人工智能初创公司 Mistral AI 推出的一款开源多模态大模型，具有240亿参数，性能在多个基准测试中超越了 GPT-4o Mini 和 Gemma 等同类模型。使其在资源受限的环境中表现出色，同时其多模态能力和多语言支持使其在国际化应用中具有广泛的应用前景。
Mistral Small 3.1：免费开源，性能吊打同类，AI应用新标杆！
qq_54627167的博客
03-20 736
Mistral Small 3.1 已全新发布！全部免费开源，文本性能更出色，具备多模式理解能力，上下文窗口扩展至 128k 个标记。该模型表现超越 Gemma 3、GPT-4o Mini 等同类，推理速度达每秒 150 个标记。现代 AI 应用依赖于多种功能，如文本处理、多模式输入理解、多语言支持以及长上下文管理，同时还要保证低延迟和成本效益。Mistral Small 3.1 是首个在这些方面不仅满足甚至超越领先的小型专有模型性能的开源模型。下面您将找到有关模型性能的更多详细信息。
性能超GPT-4o Mini！24B参数大模型Mistral Small 3.1正式发布
优快云资讯
03-18 3809
强大的推理能力：Mistral 开源模型的社区生态活跃，许多优秀的推理模型基于 Mistral Small 3 发展而来，例如 Nous Research 开发的 DeepHermes 24B。官方表示，如今的 AI 应用不仅要能处理文本，还要支持多模态输入、多语言，以及长文本，同时运行要快，性能要高。官方称，这款模型号称同级别中最强的开源模型，不仅表现优于 Google、OpenAI 等类似竞品，还在仅使用 240 亿参数的情况下处理文本和图像，并在多个任务上达到或超过这些大厂模型的表现。
Mistral强势回归：Small 3.1开源发布，性能完胜Gemma 3，RTX 4090即可部署
东方佑
03-18 766
Mistral Small 3.1的发布，标志着AI模型发展进入“轻量化+开源”新阶段。其开源策略降低了技术门槛，而性能表现则证明了小模型在特定场景的潜力。然而，面对GPT-4级别的“隐性知识”积累，小模型仍需在推理能力上持续突破。对于开发者而言，Small 3.1提供了“快速落地”的新选择；对于行业而言，这场“小模型革命”或许将重新定义AI的普惠化路径。正如社区所期待的：“期待Mistral的下一款多模态模型，再次刷新行业认知。关注我们，持续追踪AI模型迭代与技术落地动态！注。
Mistral Small 3.1 架构深度解析：高效小型模型的巅峰之作
fudaihb的博客
08-09 944
Mistral Small 3.1证明了模型能力不再由参数规模决定——通过创新的稀疏MoE架构、渐进式知识蒸馏和极致的推理优化，小型模型也能挑战大型模型的性能王座。当效率与性能完美统一，当专业知识与通用智能无缝融合，AI民主化的新时代已经到来。
Mistral AI 开源其商业模型Mistral Small 3，在体积和性能上一炮双响
weixin_41446370的博客
02-10 1088
忘掉庞大、缓慢的模型吧。Mistral 的最新版本速度极快、功能强大，可随时部署在您的笔记本电脑上。
Mistral AI 又又又开源了闭源企业级模型——Mistral-Small-Instruct-2409
weixin_41446370的博客
09-18 2133
就在不久前，Mistral 公司在开源了 Pixtral 12B 视觉多模态大模型之后，又开源了自家的企业级小型模型 Mistral-Small-Instruct-2409 （22B），这是 Mistral AI 最新的企业级小型模型，是 Mistral Small v24.02 的升级版。该机型可根据 Mistral Research License 使用，为客户提供了灵活的选择，使其能够在翻译、摘要、情感分析和其他不需要完整通用模型的任务中，选择经济高效、快速可靠的解决方案。
vllm serve 跑 Mistral-Small-3.1-24B-Instruct-2503 量化模型
03-26
<think>嗯，用户问的是如何用vLLM serve运行量化版的Mistral-Small-3.1-24B-Instruct-2503模型。首先，我需要回想一下vLLM的相关知识。vLLM是一个高效的推理和服务库，支持大模型的部署，特别是对量化模型的支持可能需要注意一些参数。 然后，用户提到的模型是Mistral-Small-3.1-24B-Instruct-2503，这应该是一个24B参数的模型，经过量化处理。量化通常指的是减少模型的精度，比如从FP16到INT8或INT4，以减少内存占用和提高推理速度。不过，vLLM是否支持该模型的量化版本呢？需要查阅vLLM的文档，看它支持的量化方法和模型结构。 接下来，安装vLLM应该是第一步，用户可能需要使用pip安装最新版本。然后，运行模型的时候，可能需要指定模型路径或者Hugging Face上的模型名称。例如，使用--model参数。如果是量化模型，可能需要额外的参数，比如--quantization，但具体是哪个选项呢？比如awq、gguf或者其他格式。比如，vLLM支持AWQ量化，所以可能需要指定--quantization awq。 另外，模型的分发格式也很重要。如果模型是以AWQ格式发布的，用户需要确保下载的是对应的量化版本。例如，Hugging Face上可能有不同的分支，比如模型名字后面跟着“-awq”。如果用户自己做了量化，可能需要转换并保存为vLLM支持的格式。 然后，运行命令可能像这样：python -m vllm.entrypoints.api_server --model Mistral-Small-3.1-24B-Instruct-2503 --quantization awq --tensor-parallel-size 2。这里，tensor-parallel-size是根据GPU数量设置的，需要用户根据自己的硬件调整。 还要注意内存和显存的需求。量化模型虽然减少了内存占用，但24B模型即使量化后可能还是需要多块GPU。比如，使用两块24GB的GPU，或者根据量化后的参数大小来计算。 最后，测试服务是否正常运行，可以通过curl命令发送请求，或者使用Python客户端。需要给出示例代码，方便用户验证。 可能遇到的问题包括：vLLM版本不支持该模型，需要更新；量化方法不匹配，导致加载失败；显存不足，需要调整并行数或batch size。这时候可能需要建议用户检查日志，调整参数，或者查阅vLLM的文档和社区支持。 总结步骤应该是：安装vLLM，准备量化模型，运行服务命令，调整参数，测试服务。同时，提醒用户注意硬件要求和可能的兼容性问题。</think>### 使用vLLM Serve运行量化版Mistral-Small-3.1-24B-Instruct-2503的步骤 #### 1. 环境准备 - 确保GPU驱动支持CUDA 11.8+ - 安装vLLM最新版本： ```bash pip install vllm ``` #### 2. 模型准备 - 若使用Hugging Face仓库的量化模型： ```bash # 下载AWQ格式的量化模型（假设模型已发布） MODEL_NAME="Mistral-Small-3.1-24B-Instruct-2503-AWQ" ``` - 若需自行量化： ```python from vllm import LLM llm = LLM(model="原始模型路径", quantization="awq") # 支持awq/gptq等格式 llm.save_pretrained("输出路径") ``` #### 3. 启动服务 ```bash python -m vllm.entrypoints.api_server \ --model $MODEL_NAME \ --quantization awq \ # 与模型格式对应 --tensor-parallel-size 2 \ # GPU数量 --max-model-len 4096 # 根据显存调整 ``` #### 4. 服务调用示例 ```python import requests response = requests.post("http://localhost:8000/generate", json={ "prompt": "如何解释量子纠缠？", "max_tokens": 256, "temperature": 0.7 } ) print(response.json()["text"]) ``` #### 关键参数说明 | 参数 | 作用 | 推荐值 | |------|------|--------| | `--quantization` | 指定量化格式 | awq/gptq | | `--tensor-parallel-size` | GPU并行数 | 根据显存选择 | | `--max-model-len` | 最大序列长度 | 4096/8192 | ### 常见问题排查 1. **CUDA内存不足**：减小`--max-model-len`或增加`--tensor-parallel-size` 2. **量化格式不匹配**：确认模型文件包含`.awq`或`.gptq`后缀 3. **加载失败**：检查vLLM版本是否≥0.3.3（支持最新量化特性）[^2]
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

甄齐才

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值