Menlo/Jan-nano-gguf：优化工具调用方向的热门模型

🧠 一、模型基础信息

1. 核心定位与架构

· Jan-nano 是由 Menlo Research 开发的一款 紧凑型大语言模型（仅 40亿参数），专为深度研究任务优化。

· 基于 Qwen3-4B 模型微调，采用 DAPO技术（Domain-Adaptive Pretraining Optimization）提升工具调用与信息关联能力。

· 支持 GGUF量化格式，便于本地部署与低资源运行。

2. 核心技术创新

· MCP（模型上下文协议）架构：支持自主调用搜索工具，实现实时信息检索与跨源数据关联分析。

· 工具调用能力：在 Hugging Face 工具使用评测中超越 DeepSeek-R1-671B 等大模型，成为小型模型中的性能标杆。

📊 二、性能表现与评测

1. 基准测试成绩

测试项目 Jan-nano得分 对比模型（得分）
SimpleQA 80.7 DeepSeek-671B (78.2)
MCP工具调用 领先 DeepSeek-v3-671B
（数据来源：）

2. 效率优势

· 在同等任务下，40亿参数的 Jan-nano 推理效率显著高于百亿级模型，适合预算有限的科研场景。

⚙️ 三、部署与使用指南

1. 模型下载地址

· 基础模型：Hugging Face →

· GGUF量化版：Hugging Face →

2. 量化版本建议

· 优先选择 Q8量化（8-bit），低比特版本（如Q4/Q5）可能导致质量显著下降。

3. 本地运行方案

· 推荐工具：

· Jan AI：原生支持 GGUF 模型，提供可视化界面（）。

· Ollama：通