InternLM/lmdeploy 自定义对话模板技术详解

InternLM/lmdeploy 自定义对话模板技术详解

lmdeploy LMDeploy is a toolkit for compressing, deploying, and serving LLMs. 项目地址: https://gitcode.com/gh_mirrors/lm/lmdeploy

什么是对话模板

在大型语言模型(LLM)应用中，对话模板(Dialogue Template)是指定义用户与AI助手之间交互格式的一套规则。它决定了系统提示、用户输入、AI响应等各部分如何组织和拼接，最终形成模型能够理解的完整输入。

InternLM/lmdeploy 提供了灵活的对话模板定制功能，让开发者可以根据需求调整对话格式，优化模型表现。

为什么需要自定义对话模板

1. 模型适配：不同模型可能有不同的对话格式要求
2. 功能扩展：支持特殊交互场景，如多轮对话、工具调用等
3. 性能优化：通过优化模板减少无用token，提高推理效率
4. 风格定制：调整AI助手的回复风格和角色设定

查看内置模板

在开始自定义前，可以先查看lmdeploy提供的内置模板：

lmdeploy list

这将列出所有预定义的对话模板名称，如"internlm"、"vicuna"等。

自定义模板的两种方式

方式一：通过JSON文件配置

这是最简单快捷的方式，适合大多数场景。创建一个JSON文件定义模板属性：

{
    "model_name": "my_custom_template",
    "system": "<|im_start|>system\n",
    "meta_instruction": "你是一个专业的技术助手",
    "eosys": "<|im_end|>\n",
    "user": "<|im_start|>user\n",
    "eoh": "<|im_end|>\n",
    "assistant": "<|im_start|>assistant\n",
    "eoa": "<|im_end|>",
    "separator": "\n",
    "capability": "chat",
    "stop_words": ["<|im_end|>"]
}

关键字段说明：

• model_name: 必填，可以是新名称或覆盖内置模板
• system: 系统提示开始标记
• meta_instruction: 系统级指令，定义AI角色
• user/assistant: 用户和AI的对话标记
• eosys/eoh/eoa: 各部分结束标记
• separator: 对话轮次间的分隔符
• stop_words: 停止词，用于终止生成

使用方式

1. CLI方式：

lmdeploy serve api_server internlm/internlm2_5-7b-chat --chat-template template.json

2. Python API方式：

from lmdeploy import ChatTemplateConfig, serve

serve('internlm/internlm2_5-7b-chat',
      chat_template_config=ChatTemplateConfig.from_json('template.json'))

方式二：通过Python类注册

这种方式提供更高的灵活性，适合需要复杂逻辑的场景。

from lmdeploy.model import MODELS, BaseChatTemplate

@MODELS.register_module(name='tech_assistant')
class TechAssistantTemplate(BaseChatTemplate):
    """技术专家风格对话模板"""
    
    def __init__(self,
                 system='[系统]\n',
                 meta_instruction='你是一位资深技术专家，回答问题专业严谨',
                 user='[用户]\n',
                 assistant='[专家]\n',
                 eosys='\n',
                 eoh='\n',
                 eoa='\n',
                 separator='\n\n',
                 stop_words=['[结束]']):
        super().__init__(system=system,
                         meta_instruction=meta_instruction,
                         eosys=eosys,
                         user=user,
                         eoh=eoh,
                         assistant=assistant,
                         eoa=eoa,
                         separator=separator,
                         stop_words=stop_words)

使用自定义类

from lmdeploy import ChatTemplateConfig, pipeline

pipe = pipeline('internlm/internlm2_5-7b-chat',
                chat_template_config=ChatTemplateConfig('tech_assistant'))

模板拼接原理

无论哪种方式，最终对话会按照以下逻辑拼接：

{system}{meta_instruction}{eosys}{user}{用户输入}{eoh}{assistant}{AI响应}{eoa}{separator}{user}...

最佳实践建议

1. 保持一致性：模板应与模型训练时的格式一致
2. 简洁高效：避免不必要的标记，减少token浪费
3. 明确角色：清晰区分用户和AI的对话部分
4. 测试验证：应用新模板后，通过实际对话验证效果
5. 日志调试：设置日志等级为INFO可查看模板应用效果

常见问题

Q: 如何知道哪种模板适合我的模型？ A: 查阅模型文档或检查其训练时使用的对话格式

Q: 自定义模板后模型表现异常怎么办？ A: 检查模板是否符合模型预期格式，特别是特殊标记和停止词

Q: 可以动态修改meta_instruction吗？ A: 可以，但需要确保修改后的指令不会破坏对话连贯性

通过灵活运用lmdeploy的对话模板功能，开发者可以更好地控制模型行为，打造更符合需求的AI对话体验。

lmdeploy LMDeploy is a toolkit for compressing, deploying, and serving LLMs. 项目地址: https://gitcode.com/gh_mirrors/lm/lmdeploy