美团大模型算法二面深度解析:Function Call连环题拆解与实战思路

在大模型算法岗面试中,美团某核心部门的二面题目以“直击技术本质”著称,其中针对Function Call的10、11、12题构成了一套“连环拷问”,精准考察候选人对大模型工具调用能力的底层理解。不同于常规面试题,这类题目既需要理论支撑,又要结合实际训练与工程落地经验,而目前全网系统讲解Function Call面试逻辑的内容较少——很多开发者熟练使用商业大模型的“Use Tools”功能,却对其训练原理、数据格式设计、工具适配逻辑一知半解,面试时极易陷入被动。

本文将以美团这三道题为核心,结合Llama 3、Qwen等开源模型的实践细节,不仅拆解“标准答案”,更补充工业界落地时的关键考量,帮你建立从理论到实践的完整认知。

img

1 、Function call怎么训练的,怎么微调的?

第一个问题,Function call 是怎么训练,怎么微调的。我们可以根据 Llama3 的开源细节来回答这个问题。

根据 Llama 的技术报告,大模型工具调用能力,是在 post training 的时候加上去的,包含了多个 SFT 和 DPO 的迭代过程。

Llama3 使用 tool 的流程大致和 GPT4 的 tool call 差不多:

img

参考 Llama3 对 SFT Tool 数据集的描述:标注员只对 assistant 信息进行排名打分,通常模型对当前问题的推理能力越强,打分越高,而不对 tool 信息进行排名打分。

其次,不采用 rejection sampling,因为 Llama 团队没有在后期的 tool 测评中,观察到它带来的收益。

为了加快标注过程,Llama 团队首先通过在之前的 Llama 3 检查点生成的合成数据上进行微调,以此来引导基本的工具使用能力。因此标注员需要进行的改动较少。

同样地,随着 Llama 3 在训练过程中逐渐改进,逐步复杂化人类标注协议:从标注单轮 tool use 的对话数据开始,逐步过渡到标注对话中包含了 tool use 的数据,最后到标注对话中包含了多步 tool use 以及数据分析的训练数据。

2、Fucntion call怎么组织文本的格式喂给模型?

比较有名的 function call 的数据集有 glaive-function-calling-v2-sharegpt,其输入格式为:

tools:


[
  {
    "name":"generate_password",
    "description":"Generate a random password with specified criteria",
    "parameters":{
      "type":"object",
      "properties":{
        "length":{
          "type":"integer",
          "description":"The length of the password"
        },
        "include_numbers":{
          "type":"boolean",
          "description":"Include numbers in the password"
        },
        "include_special_characters":{
          "type":"boolean",
          "description":"Include special characters in the password"
        }
      },
      "required":[
        "length"
      ]
    }
  }
]

tools 会像 system prompt 一样,一起放到输入的 prompt 里。组织好的对话数据:


[
  {
    "from":"human",
    "value":"I need a new password. Can you generate one for me?"
  },
  {
    "from":"gpt",
    "value":"Of course! How long would you like your password to be? And do you want it to include numbers and special characters?"
  },
  {
    "from":"human",
    "value":"I want it to be 12 characters long and yes, it should include both numbers and special characters."
  },
  {
    "from":"function_call",
    "value":"{\"name\": \"generate_password\", \"arguments\": {\"length\": 12, \"include_numbers\": true, \"include_special_characters\": true}}"
  },
  {
    "from":"observation",
    "value":"{\"password\": \"4#7gB6&9L1!0\"}"
  },
  {
    "from":"gpt",
    "value":"Here is your new password: 4#7gB6&9L1!0. Please make sure to save it in a secure place."
  }
]

这部分对话数据会和普通的多轮对话数据一样,进行多次的 SFT+DPO/RLHF 的微调。

3、Function call怎么把下游的一些工具/插件变成模型可以理解的方式?

从上一道题目的分析可以看到,其实通过把 tools 翻译成 json 文本,也就是把 tool 的函数名,工具描述,变量名,变量类型打包成 prompt 的一部分。

然后再全局设计这样的指令模版,例如 qwen-agent 里设置了这样的包含工具的对话模版:

"""# 工具
你拥有如下工具:
{tool_descs}
你可以在回复中插入零次、一次或多次以下命令以调用工具:
#FUNCTION#: 工具名称,必须是[{tool_names}]之一。
#ARGS#: 工具输入
#RESULT#: 工具结果
#RETURN#: 根据工具结果进行回复"""

然后通过 post-training 或者微调,可以让模型理解工具的含义。当然实际在定义所使用的工具时,前面提到的这些必要的工具信息需要含义清楚,定义清晰,否则实际使用的效果也会大打折扣。

以上就是这个美团大模型面试中 Function call 面试连环炮的解析。这里是丁师兄大模型,持续分享大模型干货。

那么,如何系统的去学习大模型LLM?

作为一名从业五年的资深大模型算法工程师,我经常会收到一些评论和私信,我是小白,学习大模型该从哪里入手呢?我自学没有方向怎么办?这个地方我不会啊。如果你也有类似的经历,一定要继续看下去!这些问题啊,也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点,给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢,我就曾放空大脑,以一个大模型小白的角度去重新解析它,采用基础知识和实战项目相结合的教学方式,历时3个月,终于完成了这样的课程,让你真正体会到什么是每一秒都在疯狂输出知识点。

由于篇幅有限,⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》,扫码获取~
在这里插入图片描述

为什么要学习大模型?

我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年,人才缺口已超百万,凸显培养不足。随着AI技术飞速发展,预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。

在这里插入图片描述

在这里插入图片描述

👉大模型学习指南+路线汇总👈

我们这套大模型资料呢,会从基础篇、进阶篇和项目实战篇等三大方面来讲解。
在这里插入图片描述
在这里插入图片描述

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程,带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念,用最易懂的方式带你入门大模型。
在这里插入图片描述

👉②.进阶篇👈

接下来是进阶篇,你将掌握RAG、Agent、Langchain、大模型微调和私有化部署,学习如何构建外挂知识库并和自己的企业相结合,学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。
在这里插入图片描述

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目(已脱敏),比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等,从而帮助大家更好的应对大模型时代的挑战。
在这里插入图片描述

👉④.福利篇👈

最后呢,会给大家一个小福利,课程视频中的所有素材,有搭建AI开发环境资料包,还有学习计划表,几十上百G素材、电子书和课件等等,只要你能想到的素材,我这里几乎都有。我已经全部上传到优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费
在这里插入图片描述
相信我,这套大模型系统教程将会是全网最齐全 最易懂的小白专用课!!

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值