ToolLearning Eval：CodeFuse发布首个中文Function Call的大语言模型评测基准！

最新推荐文章于 2025-09-07 12:56:13 发布
原创 最新推荐文章于 2025-09-07 12:56:13 发布 · 4.3k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #人工智能 #自然语言处理

CodeFuse发布ToolLearning-Eval，首个中文工具学习评测基准，针对大模型在工具选择、调用及执行结果总结中的能力。评测数据包括清洗的开源数据、翻译后的英文数据和自建的训练集，旨在推动工具学习领域模型的发展和评估。

1. 背景

随着ChatGPT等通用大模型的出现，它们可以生成令人惊叹的自然语言，使得机器能够更好地理解和回应人类的需求，但在特定领域的任务上仅靠通用问答是无法满足日常工作需要。随着OpenAI推出了Function Call功能，工具学习能力越来越作为开源模型的标配，目前业界较有影响力的是ToolBench的英文数据集。但是中文数据集的稀缺，使得我们很难判断各个模型在中文型工具上Function Call的能力差异。

为弥补这一不足，CodeFuse发布了首个面向ToolLearning领域的中文评测基准ToolLearning-Eval，以帮助开发者跟踪ToolLearning领域大模型的进展，并了解各个ToolLearning领域大模型的优势与不足。ToolLearning-Eval按照Function Call流程进行划分，包含工具选择、工具调用、工具执行结果总结这三个过程，方便通用模型可以对各个过程进行评测分析。

目前，我们已发布了第一期的评测榜单，首批评测大模型包含CodeFuse、Qwen、Baichuan、Internlm、CodeLLaMa等开源大语言模型；我们欢迎相关从业者一起来共建ToolLearning Eval项目，持续丰富ToolLearning领域评测题目或大模型，我们也会定期更新评测集和评测榜单。

GitHub 地址：GitHub - codefuse-ai/codefuse-devops-eval: Industrial-first evaluation benchmark for LLMs in the DevOps/AIOps domain.

ModelScope 地址：devopseval-exam

2. 评测数据

2.1. 数据来源

ToolLearning-Eval最终生成的样本格式都为Function Call标准格式，采用此类格式的原因是与业界数据统一，不但能够提高样本收集效率，也方便进行其它自动化评测。经过统计，该项目的数据来源可以分为3类：

  1. 开源数据：对开源的ToolBench原始英文数据进行清洗；
  2. 英译中：选取高质量的ToolBench数据，并翻译为中文；
  3. 大模型生成：采用Self-Instruct方法构建了中文 Function Call 训练数据&评测集；

我们希望越来越多的团队能参与到中文的functioncall数据构建，共同优化模型调用工具的能力。我们也会不断地强化这部分开源的数据集。

2.2. 数据类别

ToolLearning-Eval里面包含了两份评测集，fcdata-zh-luban和fcdata-zh-codefuse。里面总共包含 239 种工具类别，涵盖了59个领域，包含了1509 条评测数据。ToolLearning-Eval的具体数据分布可见下图

2.3. 数据样例

在数据上我们完全兼容了 OpenAI Function Calling，具体格式如下：

Function Call的数据格式

最低0.47元/天 解锁文章
CodeFuse
关注
【function call】大模型的hello function call
andeyeluguo的博客
04-16 175
近期，Qwen 发布了 QwQ-32B - 一个在许多基准测试中性能可与 DeepSeek-R1 相媲美的推理模型。QwQ在推理模型中集成了调用工具的能力，使其能够在使用工具的同时进行批判性思考，并根据反馈调整推理过程。这样的能力使得QwQ能够很好在Agentic System中使用。本文介绍如何通过vLLM和SgLang结合QwQ-32B，搭建OpenAI格式的聊天API，并与外部函数结合来拓展模型的更多功能。QwQ-32B，支持Function Call的推理模型，深度思考Agent的时代来了！
LLMs 入门实战系列大全：LLMs应用、领域大模型介绍、大模型常见面经汇总
丨汀、的博客
10-27 1887
LLMs 入门实战系列大全：LLMs应用、领域大模型介绍、大模型常见面经汇总
大模型的function call功能介绍使用
qq_30921029的博客
09-02 1129
GPT4o效果不错，换成GPT-3.5时，“计算1.4的两倍是多少”问题会调用calculator_abs，出现错误（{'content': None, 'role': 'assistant', 'function_call': {'arguments': '{"num":"1.4"}', 'name': 'calculator_abs'}, 'tool_calls': None}）。计算1.4的绝对值是多少。计算1.4的两倍是多少。计算1.4的平方是多少。
【ModelScope】从入门到进阶
qq_44091004的博客
01-02 9285
ModelScope从入门到进阶
ModelScope数据集使用技巧：高效加载与预处理方法
最新发布
gitblog_00900的博客
09-07 1088
你是否还在为大规模数据集加载速度慢而烦恼？是否因预处理流程繁琐而影响模型训练效率？本文将系统介绍ModelScope数据集（MsDataset）的核心功能，通过10+实用技巧和20+代码示例，帮助你掌握从数据加载到预处理的全流程优化方法，让数据准备工作效率提升300%。读完本文后，你将能够： - 灵活运用3种数据集加载模式应对不同场景 - 构建高效的预处理管道处理复杂数据 - 解决大规模数据集的内...
SenseNova 商汤日日新大模型 Function Call（函数调用）功能讲解和应用示例
Hyatt的博客
03-14 3197
在 LLM（Large Language Model） 语言大模型时代，Function Call（函数调用）是指可靠地连接LLM 与外部工具的能力。让用户能够使用高效的外部工具、与外部API进行交互。GPT-4 和国内 SenseNova 等经过微调的 LLM，能够检测函数是否被调用，随后输出包含调用函数参数的 JSON。通过这一过程被调用的函数能够作为工具添加到您的 AI 应用中，并且您可以在单个请求中定义多个函数。函数调用是一项重要能力。它对于构建 LLM 驱动的聊天机器人或代理至关重要。这些聊天机器
GLM-4-9B领先！伯克利函数调用榜单BFCL的Function Calling评测方法解析与梳理
2401_82452722的博客
06-06 2733
然而，虽然意图识别是大模型在最终到达AGI之前必须攻克的难关之一，函数调用模型的意图识别反而不是目前最受企业开发者关心的能力：在面对专业场景时，通常没有足够多的专业函数调用数据，只能通过非结构化的企业和行业知识文档来让通用模型获得一定的专业理解力，但可能仍然难以让模型找到用户问题和选用函数之间的对应关系，因此造成函数调用时准确率难以提升。目前函数调用的幻觉仍然是较难解决的问题之一，通常是由于模型理解力不足或者训练数据的过拟合所导致，在要求高的场景中需要额外的审查环节。输出必须与预期的数据类型匹配。
简单易懂的主流大模型Functioncall调用python代码示例
qq_62353814的博客
12-04 2237
支持时间获取、天气查询、web搜索、网页url内容总结、音视频url内容总结、图像生成。支持ChatGPT、Claude、Gemini、Grok、Mistral、豆包大模型、月之暗面、通义千问、讯飞星火、腾讯混元、百川智能、BigModel、零一万物、DeepSeek、Ollama
大语言模型的学习路线和开源模型的学习材料《一》
全网120W+关注AI拉呱，专注人工智能以及科技前沿！
11-01 1626
【LLMs 入门实战】 ChatGLM3 模型学习与实战【LLMs 入门实战】 ChatGLM3 模型微调学习与实战【ChatGLM2-6B入门】清华大学开源中文版ChatGLM-6B模型学习与实战【关于 ChatGLM2 + LoRA 进行finetune 】那些你不知道的事【LLMs 入门实战 】基于 🤗PEFT 的高效 🤖ChatGLM2-6B 微调【LLMs 入门实战】基于 🤗QLoRA 的高效 🤖ChatGLM2-6B 微调【LLMs 入门实战】 QLoRA微调Llama2 模型学习与实战
Rust赋能文心大模型4.5智能开发
keny-大成的博客
07-13 1397
本文展示了Rust语言与文心大模型4.5结合的多种应用场景和技术实现，涵盖文本处理、代码生成、并发编程、网络协议处理、加密算法、嵌入式开发等领域。通过50+精选代码示例，详细介绍了如何利用Rust的安全性和高性能特性，结合文心大模型的强大AI能力，实现从基础功能到高级优化的完整开发流程。内容包含文本生成、代码补全、多语言翻译等典型AI应用，以及宏编程、错误处理、性能优化等Rust特色技术，同时提供了Java调用文心API的参考方案。这些实例均经过实践验证，可作为开发参考，帮助开发者高效构建AI增强型应用。
BFCL：针对于多轮&多步的function call评估benchmark
AI蜗牛车
07-11 839
伯克利大学推出多轮多步函数调用评估基准BFCL v3，针对复杂交互场景下AI代理的表现进行评估。该基准包含基础多轮交互(Base Multi-Turn)和增强多轮交互(Augmented Multi-Turn)两类任务，前者测试基本交互能力，后者引入歧义处理和多跳推理等复杂场景。评估基于标准化API工具集，采用细粒度指标对模型在每轮对话和每个步骤的表现进行评分。该工作为评估AI系统的多轮决策和条件逻辑能力提供了系统化框架。
开源模型 Function Call 方案梳理
2401_85377976的博客
08-29 2362
在本文中，我们梳理了开源模型 Function Calling 能力的相关信息，包括采用的 chat template，function call 训练方案等。涉及模型 LlaMa 3.1， Mistral Large 2，glm-4-9b-chat，Qwen 2。
给大模型装上手，通过 Function Calling 查询数据库：实现高效数据处理的新方式
xx_nm98的博客
07-21 1799
Function Calling，顾名思义，就是通过调用函数的方式来完成特定任务。在数据库查询中，Function Calling指的是将查询操作封装成函数，通过调用这些函数来完成数据库查询。与传统的SQL查询语句不同，Function Calling具有更高的可读性和复用性。
开源Java快速自测工具，可以调用系统内任意一个方法
百块富翁的博客
12-13 1365
开源Java快速自测工具，可以调用系统内任意一个方法，简单方便。​开源地址：https://gitee.com/missyouch/Easy-JTest
大模型面试之Function Call详解
AI前沿技术的分享！
04-23 1269
有关 Function call 的面试题，网上流传的并不多，很多同学都会用商业大模型的 use tools 这个功能，但一细问到这个能力是怎么训练出来的，大都一脸懵。所以这篇笔记，我们就来详细拆解这个 Function call 的面试连环炮，如果你在面试现场被问到这些题目，应该如何作答？
开源模型中的 Function Call 方案深度剖析
AI前沿技术的分享！
03-17 2040
我们梳理了开源模型 Function Calling 能力的相关信息，包括采用的 chat template，function call 训练方案等。涉及模型 LlaMa 3.1， Mistral Large 2，glm-4-9b-chat，Qwen 2。
蚂蚁CodeFuse代码大模型技术解析：基于全仓库上下文的代码补全
CodeFuse的博客
08-07 3655
背景 2023年CodeFuse完成了百亿级别的代码大模型从0到1的预训练，配合指令微调、量化部署等一系列配套技术，成功将AI大模型能力应用到多个下游研发场景，助力生产提效。在众多下游产品中，CodeFuse代码补全插件直接触及研发过程中最核心的编码场景，因此对开发效率的影响最显著。目前，CodeFuse代码补全插件是CodeFuse系列产品中用户数量最多、留存率最大，调用AI能力最多的产品。 目前，大部分代码语言模型在预训练阶段以文件为基本单位，随机选择代码文件拼接固定长度后组成训练样本。常见的代码评
如何生成Function Calling微调数据？
h1453586413的博客
12-02 1501
img为了确保生成的函数调用符合API的预定义格式，需要定义一个严格的Schema。Schema规定了每个API的参数类型、结构以及可能的取值范围。微调过程中，模型需要学会在调用API时严格遵循这些Schema。searchRestaurants(location="北京", type="意大利餐馆", rating=4.5, price_range="适中")
benchmark_eval
03-22
### 基准测试评估的概念、工具与方法 基准测试（Benchmark Evaluation）是一种用于衡量软件性能的技术，通过标准化的方法来比较不同算法或系统的效率和效果。以下是关于基准测试的相关概念、常用工具以及具体实现方式。 #### 什么是基准测试？ 基准测试是指利用一组预定义的标准程序或数据集对目标系统进行测量的过程。其目的是量化特定操作的时间消耗或其他资源需求[^1]。在开发过程中，这种技术可以帮助开发者识别瓶颈并优化代码逻辑。 #### 主要的基准测试方法 常见的基准测试方法可以分为两类：微基准测试(Micro-benchmarking) 和宏基准测试(Macro-benchmarking)[^2]: - **微基准测试**: 集中于单个函数或者很小一部分功能的表现分析； - **Macro-Benchmarks** : 测试整个应用程序的行为特征及其对外界环境变化作出响应的能力. 另外还有负载压力下的持续运行时间试验(load testing), 这种类型的实验通常用来验证当面临高并发请求时服务端能否保持稳定工作状态而不崩溃[3]. #### 软件工程领域内的几种流行工具介绍 对于不同的编程语言和技术栈而言, 存在着多种专门设计出来的框架支持执行高效的benchmarks: ##### Python生态中的解决方案 Pytest-benchmark 是一个非常受欢迎的选择因为它易于集成到现有的pytest项目里去同时提供了丰富的命令行选项让用户能够灵活定制化自己的testsuite.[^4] ```python import pytest from mymodule import very_fast_function @pytest.mark.benchmark( min_rounds=5, warmup=True ) def test_example(benchmark): result = benchmark(very_fast_function, arg1="value", kwarg='another value') assert isinstance(result,str)==True ``` 上述例子展示了如何借助`@pytest.mark.benchmark()`装饰器轻松完成一次简单的function call profiling作业. ##### Java平台上的替代品 JMH(JAVA Microbenchmark Harness)由Oracle官方维护发布, 它专攻低级别细节控制比如防止jvm提前编译影响最终成绩等问题发生; 同样也允许使用者自定义线程池大小等工作参数以便获得更加精确的结果反馈.^{5} 下面给出一段基于JMH API构建起来的基础模板供参考学习： ```java package org.sample; import org.openjdk.jmh.annotations.*; import java.util.concurrent.TimeUnit; public class MyBenchmark { @Benchmark public void measureSomething() { // The code you want to measure goes here. } } ``` 以上即为创建一个新的Java microbenchmark所需要遵循的基本结构形式之一. #### 结合实际应用场景举例说明 假设我们现在正在处理一项涉及大规模基因组数据分析的任务，在此情景下我们可以采用HiCExplorer作为我们的主要研究手段之一来进行交互式的可视化探索活动的同时还可以调用其中内置的一些统计学模型辅助我们更深入理解染色质三维空间构象特性等方面的知识点[^6]. 此外如果考虑到后期可能存在的扩展性需求的话那么不妨考虑引入Snakemake这类workflow management system从而简化复杂pipeline搭建流程提升整体工作效率水平. ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值