从0到1掌握Hermes 2 Pro：LLM函数调用与结构化输出全攻略

从0到1掌握Hermes 2 Pro：LLM函数调用与结构化输出全攻略

【免费下载链接】Hermes-2-Pro-Llama-3-8B 项目地址: https://ai.gitcode.com/mirrors/NousResearch/Hermes-2-Pro-Llama-3-8B

引言：AI开发的痛点与解决方案

你是否曾在开发AI应用时遇到这些困境？函数调用参数混乱导致API调用失败，结构化输出格式错误引发下游系统崩溃，8B模型资源受限却需兼顾性能与效率。本文将系统解决这些问题，通过实战案例和深度解析，帮助开发者全面掌握Hermes 2 Pro - Llama-3 8B模型的核心功能与最佳实践。

读完本文，你将获得：

• 函数调用（Function Calling）的端到端实现方案
• 结构化JSON输出（JSON Mode）的精准控制方法
• 8B模型在资源受限环境下的优化部署策略
• 多场景实战案例代码与性能调优指南

模型概述：Hermes 2 Pro的技术革新

Hermes 2 Pro是基于Meta-Llama-3-8B开发的增强型大语言模型（LLM），由Nous Research、@interstellarninja和Fireworks.AI联合开发。该模型在保留优秀对话能力的基础上，重点强化了函数调用和结构化输出能力，在专业评测中取得了90%的函数调用准确率和84%的JSON输出合格率。

核心技术特性

特性	描述	优势
专用标记系统	新增<tools>、<tool_call>、<tool_response>等专用标记	提升流式处理中的解析可靠性
ChatML格式	采用结构化对话模板，支持多轮交互	与OpenAI API兼容，降低迁移成本
双重优化训练	结合DPO（直接偏好优化）和RLHF（基于人类反馈的强化学习）	平衡安全性与任务性能
轻量级设计	8B参数规模，4bit量化下仅需5GB VRAM	适合边缘设备和资源受限场景

模型架构

环境准备：快速上手的技术栈

硬件要求

量化方式	VRAM需求	适用场景
FP16	16GB+	性能优先，开发环境
8bit	8GB+	平衡性能与资源
4bit	5GB+	边缘设备，生产部署

软件依赖

# 基础依赖安装
pip install torch transformers bitsandbytes sentencepiece protobuf

# 可选优化依赖
pip install flash-attn  # 需CUDA支持，提升推理速度

模型获取

# 通过Git获取模型（推荐）
git clone https://gitcode.com/mirrors/NousResearch/Hermes-2-Pro-Llama-3-8B

# 或使用Hugging Face Hub（需访问权限）
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("NousResearch/Hermes-2-Pro-Llama-3-8B")
model = AutoModelForCausalLM.from_pretrained("NousResearch/Hermes-2-Pro-Llama-3-8B")

核心功能详解：函数调用

技术原理

函数调用（Function Calling）是指模型能够根据用户请求，生成符合特定格式的函数调用指令，从而实现与外部工具的交互。Hermes 2 Pro采用专用的<tool_call>标记和结构化JSON格式，确保调用指令的可靠性和可解析性。

实现步骤

1. 定义工具函数

def get_current_temperature(location: str, unit: str) -> float:
    """
    获取指定地点的当前温度
    
    Args:
        location: 地点，格式为"城市, 国家"
        unit: 温度单位，可选值 ["celsius", "fahrenheit"]
    
    Returns:
        指定地点的当前温度（浮点型）
    """
    # 实际应用中应替换为真实API调用
    mock_data = {
        "Paris, France": {"celsius": 22.0, "fahrenheit": 71.6},
        "New York, USA": {"celsius": 18.5, "fahrenheit": 65.3},
        "Tokyo, Japan": {"celsius": 25.0, "fahrenheit": 77.0}
    }
    return mock_data.get(location, {}).get(unit, 0.0)

def get_current_wind_speed(location: str) -> float:
    """
    获取指定地点的当前风速（km/h）
    
    Args:
        location: 地点，格式为"城市, 国家"
    
    Returns:
        指定地点的当前风速（浮点型）
    """
    # 实际应用中应替换为真实API调用
    mock_data = {
        "Paris, France": 6.5,
        "New York, USA": 12.3,
        "Tokyo, Japan": 4.8
    }
    return mock_data.get(location, 0.0)

# 工具函数列表
tools = [get_current_temperature, get_current_wind_speed]

2. 构建对话模板

messages = [
    {"role": "user", "content": "巴黎现在的温度是多少？"}
]

# 应用工具调用模板
inputs = tokenizer.apply_chat_template(
    messages, 
    chat_template="tool_use", 
    tools=tools, 
    add_generation_prompt=True, 
    return_dict=True, 
    return_tensors="pt"
)
inputs = {k: v.to(model.device) for k, v in inputs.items()}

3. 生成工具调用指令

# 生成函数调用
outputs = model.generate(
    **inputs, 
    max_new_tokens=128,
    temperature=0.0,  # 结构化任务建议使用低温度
    do_sample=False
)

# 解码输出
response = tokenizer.decode(
    outputs[0][len(inputs["input_ids"][0]):], 
    skip_special_tokens=False
)
print(response)

预期输出：

<tool_call>
{"arguments": {"location": "Paris, France", "unit": "celsius"}, "name": "get_current_temperature"}
</tool_call><|im_end|>

4. 解析调用并执行工具

import json
import re

# 提取工具调用内容
def extract_tool_call(response):
    pattern = r"<tool_call>(.*?)</tool_call>"
    match = re.search(pattern, response, re.DOTALL)
    if match:
        return json.loads(match.group(1))
    return None

tool_call = extract_tool_call(response)
if tool_call:
    # 查找对应的工具函数
    tool_name = tool_call["name"]
    tool_args = tool_call["arguments"]
    tool_func = next((func for func in tools if func.__name__ == tool_name), None)
    
    if tool_func:
        # 执行工具函数
        result = tool_func(**tool_args)
        # 将结果添加到对话历史
        messages.append({
            "role": "assistant", 
            "tool_calls": [{"type": "function", "function": tool_call}]
        })
        messages.append({
            "role": "tool", 
            "name": tool_name, 
            "content": str(result)
        })

5. 生成最终回答

# 应用对话模板生成回答
inputs = tokenizer.apply_chat_template(
    messages, 
    chat_template="tool_use", 
    tools=tools, 
    add_generation_prompt=True, 
    return_dict=True, 
    return_tensors="pt"
)
inputs = {k: v.to(model.device) for k, v in inputs.items()}

# 生成回答
outputs = model.generate(
    **inputs, 
    max_new_tokens=128,
    temperature=0.7  # 自然语言生成使用较高温度
)

# 解码并打印结果
final_response = tokenizer.decode(
    outputs[0][len(inputs["input_ids"][0]):], 
    skip_special_tokens=True
)
print(final_response)

预期输出：

巴黎现在的温度是22.0摄氏度。

工作流程图

核心功能详解：结构化JSON输出

技术原理

JSON模式（JSON Mode）允许模型生成符合特定JSON Schema的结构化输出，适用于数据提取、格式转换等需要精确结构的场景。Hermes 2 Pro通过<schema>标记界定JSON结构定义，确保输出严格遵循指定格式。

实现步骤

1. 定义JSON Schema

from pydantic import BaseModel, Field
from typing import List, Optional

# 使用Pydantic定义数据模型
class WeatherReport(BaseModel):
    location: str = Field(description="地点，格式为'城市, 国家'")
    temperature: float = Field(description="温度，单位为摄氏度")
    wind_speed: Optional[float] = Field(description="风速，单位为km/h，可选")
    conditions: List[str] = Field(description="天气状况列表，如['晴朗', '多云']")

# 转换为JSON Schema
schema = WeatherReport.schema_json(indent=2)

生成的JSON Schema：

{
  "title": "WeatherReport",
  "type": "object",
  "properties": {
    "location": {
      "title": "Location",
      "type": "string",
      "description": "地点，格式为'城市, 国家'"
    },
    "temperature": {
      "title": "Temperature",
      "type": "number",
      "description": "温度，单位为摄氏度"
    },
    "wind_speed": {
      "title": "Wind Speed",
      "type": "number",
      "description": "风速，单位为km/h，可选"
    },
    "conditions": {
      "title": "Conditions",
      "type": "array",
      "items": {
        "type": "string"
      },
      "description": "天气状况列表，如['晴朗', '多云']"
    }
  },
  "required": [
    "location",
    "temperature",
    "conditions"
  ]
}

2. 构建JSON模式提示

system_prompt = f"""<|im_start|>system
You are a helpful assistant that answers in JSON. Here's the json schema you must adhere to:
<schema>
{schema}
</schema><|im_end|>"""

user_query = "<|im_start|>user请提供巴黎的天气报告<|im_end|><|im_start|>assistant"

full_prompt = system_prompt + user_query

3. 生成结构化输出

inputs = tokenizer(
    full_prompt, 
    return_tensors="pt", 
    truncation=True, 
    max_length=2048
).to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=256,
    temperature=0.0,  # 结构化任务使用0温度确保一致性
    do_sample=False,
    pad_token_id=tokenizer.eos_token_id
)

json_response = tokenizer.decode(
    outputs[0][len(inputs["input_ids"][0]):],
    skip_special_tokens=True
)
print(json_response)

预期输出：

{
  "location": "Paris, France",
  "temperature": 22.0,
  "wind_speed": 6.5,
  "conditions": ["晴朗", "微风"]
}

4. 验证JSON输出

# 验证生成的JSON是否符合Schema
def validate_json_schema(json_str, model_class):
    try:
        data = json.loads(json_str)
        model_instance = model_class(**data)
        return True, model_instance
    except Exception as e:
        return False, str(e)

is_valid, result = validate_json_schema(json_response, WeatherReport)
if is_valid:
    print("JSON格式验证通过")
    print(f"地点: {result.location}")
    print(f"温度: {result.temperature}°C")
else:
    print(f"JSON格式验证失败: {result}")

常见问题与解决方案

问题	解决方案	示例
缺少必填字段	调整Schema，明确required属性	添加"required": ["location", "temperature"]
类型不匹配	降低temperature至0，使用严格模式	设置temperature=0.0和do_sample=False
多余字段	使用additionalProperties: false限制	在Schema中添加"additionalProperties": false
格式错误	增加格式说明，提供示例	在description中加入示例："如{'location': 'Paris, France'}"

性能优化：8B模型的资源高效利用

量化策略对比

推理速度优化

1. 使用Flash Attention

model = AutoModelForCausalLM.from_pretrained(
    "NousResearch/Hermes-2-Pro-Llama-3-8B",
    torch_dtype=torch.float16,
    device_map="auto",
    load_in_4bit=True,
    use_flash_attention_2=True  # 启用Flash Attention加速
)

2. 批处理推理

# 批处理多个请求以提高吞吐量
prompts = [
    "巴黎现在的天气如何？",
    "伦敦的温度是多少？",
    "东京的风速是多少？"
]

# 构建批处理输入
inputs = tokenizer(
    prompts,
    return_tensors="pt",
    padding=True,
    truncation=True,
    max_length=2048
).to(model.device)

# 生成结果
outputs = model.generate(
    **inputs,
    max_new_tokens=128,
    temperature=0.7
)

# 解码每个结果
for i, output in enumerate(outputs):
    response = tokenizer.decode(
        output, 
        skip_special_tokens=True
    )
    print(f"问题 {i+1}: {prompts[i]}")
    print(f"回答 {i+1}: {response}\n")

内存管理技巧

1.** 梯度检查点 **：牺牲部分计算速度换取内存节省

model.gradient_checkpointing_enable()

2.** 动态批处理 **：根据输入长度动态调整批大小

from transformers import DynamicBatchProcessor

processor = DynamicBatchProcessor(
    tokenizer=tokenizer,
    max_batch_size=8,
    max_length=2048
)

3.** 模型卸载 **：不使用时释放GPU内存

model = model.to("cpu")
torch.cuda.empty_cache()

实战案例：构建智能天气助手

项目架构

完整代码实现

import torch
import json
import re
from transformers import AutoTokenizer, AutoModelForCausalLM
from pydantic import BaseModel, Field
from typing import List, Optional

# 1. 加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained(
    "./Hermes-2-Pro-Llama-3-8B",  # 本地模型路径
    trust_remote_code=True
)
model = AutoModelForCausalLM.from_pretrained(
    "./Hermes-2-Pro-Llama-3-8B",
    torch_dtype=torch.float16,
    device_map="auto",
    load_in_4bit=True,
    use_flash_attention_2=True
)

# 2. 定义工具函数和数据模型
class WeatherAPI:
    @staticmethod
    def get_weather(location: str) -> dict:
        """获取指定地点的天气信息"""
        # 模拟API调用
        mock_data = {
            "Paris, France": {
                "temperature": 22.0,
                "wind_speed": 6.5,
                "conditions": ["晴朗", "微风"],
                "humidity": 65
            },
            "London, UK": {
                "temperature": 18.0,
                "wind_speed": 10.2,
                "conditions": ["多云", "有风"],
                "humidity": 72
            },
            "Tokyo, Japan": {
                "temperature": 25.5,
                "wind_speed": 4.8,
                "conditions": ["晴朗", "温暖"],
                "humidity": 60
            }
        }
        return mock_data.get(location, {"error": "未找到该地点的天气数据"})

class WeatherAssistant:
    def __init__(self):
        self.tools = [WeatherAPI.get_weather]
        self.messages = []
    
    def add_message(self, role: str, content: str, tool_calls: Optional[list] = None):
        """添加对话历史"""
        msg = {"role": role, "content": content}
        if tool_calls:
            msg["tool_calls"] = tool_calls
        self.messages.append(msg)
    
    def process_query(self, user_query: str) -> str:
        """处理用户查询，返回回答"""
        self.add_message("user", user_query)
        
        # 第一步：判断是否需要调用工具
        tool_response = self._call_tool_if_needed()
        if tool_response:
            self.add_message("tool", tool_response["content"], name=tool_response["name"])
            
        # 第二步：生成最终回答
        return self._generate_final_response()
    
    def _call_tool_if_needed(self) -> Optional[dict]:
        """判断是否需要调用工具并执行"""
        inputs = tokenizer.apply_chat_template(
            self.messages,
            chat_template="tool_use",
            tools=self.tools,
            add_generation_prompt=True,
            return_dict=True,
            return_tensors="pt"
        ).to(model.device)
        
        outputs = model.generate(
            **inputs,
            max_new_tokens=128,
            temperature=0.0,
            do_sample=False
        )
        
        response = tokenizer.decode(
            outputs[0][len(inputs["input_ids"][0]):],
            skip_special_tokens=False
        )
        
        # 检查是否包含工具调用
        tool_call = self._extract_tool_call(response)
        if not tool_call:
            return None
            
        # 执行工具调用
        tool_name = tool_call["name"]
        tool_args = tool_call["arguments"]
        tool_func = next((func for func in self.tools if func.__name__ == tool_name), None)
        
        if tool_func:
            result = tool_func(** tool_args)
            self.add_message(
                "assistant",
                "",
                tool_calls=[{"type": "function", "function": tool_call}]
            )
            return {
                "name": tool_name,
                "content": json.dumps(result)
            }
        return None
    
    def _generate_final_response(self) -> str:
        """生成最终自然语言回答"""
        inputs = tokenizer.apply_chat_template(
            self.messages,
            chat_template="chatml",
            add_generation_prompt=True,
            return_dict=True,
            return_tensors="pt"
        ).to(model.device)
        
        outputs = model.generate(
            **inputs,
            max_new_tokens=256,
            temperature=0.7,
            do_sample=True
        )
        
        return tokenizer.decode(
            outputs[0][len(inputs["input_ids"][0]):],
            skip_special_tokens=True
        )
    
    @staticmethod
    def _extract_tool_call(response: str) -> Optional[dict]:
        """提取工具调用内容"""
        pattern = r"<tool_call>(.*?)</tool_call>"
        match = re.search(pattern, response, re.DOTALL)
        if match:
            try:
                return json.loads(match.group(1))
            except json.JSONDecodeError:
                return None
        return None

# 3. 运行天气助手
if __name__ == "__main__":
    assistant = WeatherAssistant()
    
    while True:
        user_input = input("请输入您的问题（输入'退出'结束）：")
        if user_input.lower() == "退出":
            break
            
        response = assistant.process_query(user_input)
        print(f"助手回答：{response}\n")

运行示例

请输入您的问题（输入'退出'结束）：巴黎的天气怎么样？
助手回答：巴黎当前天气晴朗，气温22.0°C，微风，湿度65%。

请输入您的问题（输入'退出'结束）：伦敦和东京哪里更热？
助手回答：东京（25.5°C）比伦敦（18.0°C）更热，两地温差7.5°C。

请输入您的问题（输入'退出'结束）：退出

总结与展望

Hermes 2 Pro - Llama-3 8B模型通过精心设计的函数调用机制和结构化输出系统，为资源受限环境下的AI应用开发提供了强大支持。本文详细介绍了模型的核心功能、实现方法和优化策略，并通过天气助手案例展示了实际应用开发流程。

随着大语言模型技术的不断发展，未来我们可以期待：

• 更高效的工具调用机制，支持多工具并行调用
• 动态Schema调整，实现更灵活的结构化输出
• 更低资源消耗的部署方案，进一步拓展边缘计算场景

无论是开发者还是研究人员，掌握这些技术都将为构建更智能、更可靠的AI系统奠定坚实基础。建议读者结合本文代码示例进行实践，并关注模型的后续更新以获取更多功能增强。

扩展资源

学习路线图

常用工具推荐

工具	用途	优势
LM Studio	模型本地运行与测试	可视化界面，支持ChatML格式
vLLM	高性能推理服务	支持PagedAttention，提升吞吐量
LangChain	LLM应用开发框架	丰富的工具集成和链管理
FastAPI	API服务构建	异步支持，自动生成文档

相关项目与社区

• 官方代码库：NousResearch/Hermes-Function-Calling
• 模型下载：https://gitcode.com/mirrors/NousResearch/Hermes-2-Pro-Llama-3-8B
• 技术讨论：HuggingFace模型页面评论区

希望本文能帮助你充分利用Hermes 2 Pro的强大功能，开发出更智能、更高效的AI应用。如有任何问题或建议，欢迎在评论区交流讨论。

点赞+收藏+关注，获取更多LLM技术深度解析和实战教程！下期预告：《Hermes 2 Pro高级应用：多模态交互与Agent开发》。

【免费下载链接】Hermes-2-Pro-Llama-3-8B 项目地址: https://ai.gitcode.com/mirrors/NousResearch/Hermes-2-Pro-Llama-3-8B