美团大模型算法二面：Function Call三连炮！

Python_金钱豹

于 2025-05-24 09:55:14 发布

阅读量414

点赞数 12

文章标签：算法网络人工智能 embedding ui 机器学习

本文链接：https://blog.youkuaiyun.com/Python_cocola/article/details/148185218

版权

随着DeepSeek爆火，面试中也越来越高频出现，因此训练营也更新了DeepSeek系列技术的深入拆解。包括MLA、MTP、专家负载均衡、FP8混合精度训练，Dual-Pipe等关键技术，力求做到全网最硬核的解析~

这是美团某个部门大模型算法的二面题目，我们来看其中的 10、11、12 题，是一个关于大模型中 Function call 的连环炮拷问。

有关 Function call 的面试题，网上流传的并不多，很多同学都会用商业大模型的 use tools 这个功能，但一细问到这个能力是怎么训练出来的，大都一脸懵。

所以这篇笔记，我们就来详细拆解这个 Function call 的面试连环炮，如果你在面试现场被问到这些题目，应该如何作答？

Function call怎么训练的，怎么微调的？

第一个问题，Function call 是怎么训练，怎么微调的。我们可以根据 Llama3 的开源细节来回答这个问题。

根据 Llama 的技术报告，大模型工具调用能力，是在 post training 的时候加上去的，包含了多个 SFT 和 DPO 的迭代过程。

Llama3 使用 tool 的流程大致和 GPT4 的 tool call 差不多：

参考 Llama3 对 SFT Tool 数据集的描述：标注员只对 assistant 信息进行排名打分，通常模型对当前问题的推理能力越强，打分越高，而不对 tool 信息进行排名打分。

其次，不采用 rejection sampling，因为 Llama 团队没有在后期的 tool 测评中，观察到它带来的收益。

为了加快标注过程，Llama 团队首先通过在之前的 Llama 3 检查点生成的合成数据上进行微调，以此来引导基本的工具使用能力。因此标注员需要进行的改动较少。

同样地，随着 Llama 3 在训练过程中逐渐改进，逐步复杂化人类标注协议：从标注单轮 tool use 的对话数据开始，逐步过渡到标注对话中包含了 tool use 的数据，最后到标注对话中包含了多步 tool use 以及数据分析的训练数据。

Fucntion call怎么组织文本的格式喂给模型？

比较有名的 function call 的数据集有 glaive-function-calling-v2-sharegpt，其输入格式为：

tools：

[  {    "name":"generate_password",    "description":"Generate a random password with specified criteria",    "parameters":{      "type":"object",      "properties":{        "length":{          "type":"integer",          "description":"The length of the password"        },        "include_numbers":{          "type":"boolean",          "description":"Include numbers in the password"        },        "include_special_characters":{          "type":"boolean",          "description":"Include special characters in the password"        }      },      "required":[        "length"      ]    }  }]

tools 会像 system prompt 一样，一起放到输入的 prompt 里。组织好的对话数据：

[  {    "from":"human",    "value":"I need a new password. Can you generate one for me?"  },  {    "from":"gpt",    "value":"Of course! How long would you like your password to be? And do you want it to include numbers and special characters?"  },  {    "from":"human",    "value":"I want it to be 12 characters long and yes, it should include both numbers and special characters."  },  {    "from":"function_call",    "value":"{\"name\": \"generate_password\", \"arguments\": {\"length\": 12, \"include_numbers\": true, \"include_special_characters\": true}}"  },  {    "from":"observation",    "value":"{\"password\": \"4#7gB6&9L1!0\"}"  },  {    "from":"gpt",    "value":"Here is your new password: 4#7gB6&9L1!0. Please make sure to save it in a secure place."  }]

这部分对话数据会和普通的多轮对话数据一样，进行多次的 SFT+DPO/RLHF 的微调。

Function call怎么把下游的一些工具/插件变成模型可以理解的方式？

从上一道题目的分析可以看到，其实通过把 tools 翻译成 json 文本，也就是把 tool 的函数名，工具描述，变量名，变量类型打包成 prompt 的一部分。

然后再全局设计这样的指令模版，例如 qwen-agent 里设置了这样的包含工具的对话模版：

"""# 工具你拥有如下工具：{tool_descs}你可以在回复中插入零次、一次或多次以下命令以调用工具：#FUNCTION#: 工具名称，必须是[{tool_names}]之一。#ARGS#: 工具输入#RESULT#: 工具结果#RETURN#: 根据工具结果进行回复"""

然后通过 post-training 或者微调，可以让模型理解工具的含义。当然实际在定义所使用的工具时，前面提到的这些必要的工具信息需要含义清楚，定义清晰，否则实际使用的效果也会大打折扣。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述