Mistral AI 团队发布 Mistral-7B-Instruct-v0.3

抱抱脸上线了 Mistral-7B-v0.3 的基础版和指令微调版。

相比于Mistral-7B-v0.2,新版本更新如下:

– 词汇量从 32000 扩展到 32768
– 支持 v3 分词器
– 支持函数调用

Mistral-7B-v0.3:网页链接
Mistral-7B-Instruct-v0.3:网页链接 ​​​


从Hugging Face安装

pip install mistral_inference

从Hugging Face下载

from huggingface_hub import snapshot_download
from pathlib import Path

mistral_models_path = Path.home().joinpath('mistral_models', '7B-Instruct-v0.3')
mistral_models_path.mkdir(parents=True, exist_ok=True)

snapshot_download(repo_id="mistralai/Mist
<think>嗯,用户想要下载Mistral-7B-v0.2模型。这个问题需要根据现有信息和最新情况分析解决。用户引用的资料[1]和[2]提到了HuggingFace平台,这是最权威的开源模型托管平台。MistralAI作为知名机构,确实会首选在此发布。资料[5]中的命令参数里有AI-ModelScope/Mistral-7B-v0.2-hf这个路径,这明显是ModelScope的模型ID格式。考虑到用户可能更习惯中文界面,ModelScope作为国内平台会是更好的推荐。资料[5]还提供了完整的微调脚本,说明该平台对中文用户友好。不过为严谨起见,应该同步给出HF链接作为备选。需要特别注意模型版本标识:原始基础版叫v0.2,指令微调版叫Instruct-v0.2,在资料[3][4]中有明确区分。用户只提了基础版,但最好把两个变体都列出来。资料[2]提到的GGUF量化格式对普通用户不太友好,暂时不需要提及。但若用户后续问及移动端部署,可以补充。当前重点应该是获取原始模型的方法。最后要提醒关键点:14GB的显存要求,以及推荐python环境。这些在资料[5]的实验环境里有体现,需要转化为用户能理解的配置说明。</think> 基于提供的引用信息和当前可用资源,以下是获取 Mistral-7B v0.2 模型的官方下载途径和相关说明: ### 🔧 下载方式(推荐按顺序尝试) 1. **Hugging Face 官方仓库(首选)** - 基础模型:`mistralai/Mistral-7B-v0.2` 🔗 [https://huggingface.co/mistralai/Mistral-7B-v0.2](https://huggingface.co/mistralai/Mistral-7B-v0.2) - 指令微调版:`mistralai/Mistral-7B-Instruct-v0.2` 🔗 [https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2](https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2) - ✅ **使用说明**: ```python from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-v0.2") tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-v0.2") ``` 2. **ModelScope 中文镜像站** - 国内加速镜像:`AI-ModelScope/Mistral-7B-v0.2-hf` 🔗 [https://modelscope.cn/models/AI-ModelScope/Mistral-7B-v0.2-hf](https://modelscope.cn/models/AI-ModelScope/Mistral-7B-v0.2-hf) (通过 `git lfs clone` 或 SDK 下载)[^2][^5] 3. **GGUF 量化格式(CPU/边缘设备部署)** - 项目地址: 🔗 [https://gitcode.com/hf_mirrors/ai-gitcode/Mistral-7B-Instruct-v0.2-GGUF](https://gitcode.com/hf_mirrors/ai-gitcode/Mistral-7B-Instruct-v0.2-GGUF) - 提供 `.gguf` 文件,支持 `llama.cpp` 等轻量化推理框架 [^2] --- ### ⚠️ 注意事项 1. **硬件要求** - FP16 精度需至少 **14GB GPU 显存**(如 A100 32GB) - 量化版(如 GGUF Q4)可在 8GB 显存/32GB 内存环境运行 2. **下载建议** ```bash # 通过 Git LFS 下载(需预先安装) git lfs install git clone https://huggingface.co/mistralai/Mistral-7B-v0.2 ``` 3. **中文场景适配** 引用[5]提供微调方案,可使用中文数据集(如 `dureader-robust-zh`)进行指令微调 --- ### 📚 相关资源 | 资源类型 | 链接 | |------------------|----------------------------------------------------------------------| | 官方技术报告 | [Mistral 7B Paper](https://arxiv.org/abs/2310.06825) | | 微调实践代码 | [GitHub 示例](https://github.com/modelscope/swift/blob/main/examples) [^5] | | 性能对比(MT-Bench)| [https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard](https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard) [^4] | --- ### ❓相关问题 1. 如何解决下载 Hugging Face 模型时的网络问题? 2. Mistral-7B v0.2 与 v0.1 版本的核心区别是什么?[^1][^3] 3. 在消费级显卡(如 RTX 3090)上如何部署量化版模型? 4. 是否有针对中文优化的 Mistral-7B 微调指南?[^5] [^1]: Mistral AI 社区动态与模型版本更新记录 [^2]: GGUF 格式部署实践与镜像资源 [^3]: Mistral 系列模型技术演进分析 [^4]: Mistral 7B 的基准测试表现 [^5]: 中文场景下的微调参数配置方案
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值