PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion

LLM 日更 专栏收录该内容
829篇文章
已下架不支持订阅

本文是LLM系列文章,针对《PPTC Benchmark: Evaluating Large Language Models for PowerPoint
Task Completion》的翻译。
@TOC

摘要

最近对大型语言模型(LLM)的评估集中在测试其用于基本自然语言任务的零样本/少样本能力,以及将指令转换为工具API的能力。然而,在复杂的多模态环境中,利用复杂工具完成多轮、多模态指令的LLM的评估尚未得到研究。为了解决这一差距,我们引入了PowerPoint任务完成(PPTC)基准,以评估LLM根据用户说明创建和编辑PPT文件的能力。它包含279个多回合会话,涵盖不同的主题和数百条涉及多模式操作的指令。我们还提出了PPTX-Match评估系统,该系统基于预测文件而不是标签API序列来评估LLM是否完成指令,因此它支持各种LLM生成的API序列。我们测量了3个封闭LLM和6个开源LLM。结果表明,GPT-4在单回合对话测试中的准确率为75.1%,优于其他LLM,但在完成整个会话方面面临挑战,会话准确率仅为6%。我们在基准测试中发现了三个主要的错误原因:多回合会话中的错误积累、长PPT模板处理和多模态感知。这些对未来的LLM和代理系统提出了巨大的挑战。我们在https://github.com/gydpku/PPTC上开源了我们的数据、代码和评估系统。

1 引言

2 PPTC基准

3 算法

《算法设计与分析》全套PPT课件(武汉工程大学) 获取 《算法设计与分析》全套PPT课件(武汉工程大学)::https://download.youkuaiyun.com/download/m0_54748666/93260847。第11章概率算法和近似算法.pptx。第2章递归算法设计技术.pptx。第10章计算复杂性理论.ppt。第9章 图算法设计.pptx。第6章分枝限界法.pptx。第8章动态规划.pptx。第3章分治法.pptx。第4章蛮力法.pptx。第5章回溯法.pptx。第7章贪心法.pptx。第1章概述.pptx。 阅读详情

相关推荐

《通信原理》全套PPT课件2026

获取 《通信原理》全套PPT课件2026::https://download.youkuaiyun.com/download/m0_54748666/93830976。第11章无线通信新技术及应用.pptx。第4章模拟信号的调制与解调.pptx。第2章 随机过程与噪声.pptx。第3章 信道与信道容量.pptx。第7章数字信号的频带传输.ppt。第8章现代数字调制与解调.ppt。第1章 通信基础知识.pptx。第5章模拟信号的数字化.ppx。第9章差错控制编码.pptx。第10章同步原理.pptx。

m0_54748666的博客 160

《算法设计与分析》全套PPT课件(厦门大学)

获取 《算法设计与分析》全套PPT课件(厦门大学)::https://download.youkuaiyun.com/download/m0_54748666/93848597。《算法设计与分析》全套PPT课件(厦门大学)最大子段和问题的动态规划算法.ppt。第七章:随机化算法.pptx。第二章:递归与分治.ppt。第六章:分支限界法.ppt。第三章:动态规划.ppt。第四章:贪心算法.ppt。第一章:算法概述.ppt。第五章:回溯法.ppt。

m0_54748666的博客 168

《大语言模型基础与应用开发》全套PPT课件2026

获取 《大语言模型基础与应用开发》全套PPT课件2026::https://download.youkuaiyun.com/download/m0_54748666/93830660。14.LangChain4j Easy RAG组件.pptx。16.应用LangChain4j RAG高级特性.pptx。12.RAG核心概念和应用场景.pptx。1.大模型基本概念和应用场景.pptx。2.大模型应用开发基础知识.pptx。3.大模型的应用方式和类型.pptx。5.构建聊天模型.pptx。8.构建工具组件.pptx。

m0_54748666的博客 535

《算法设计与分析》全套PPT课件(东北大学)

获取 《算法设计与分析》全套PPT课件(东北大学)::https://download.youkuaiyun.com/download/m0_54748666/93848599。《算法设计与分析》全套PPT课件(东北大学)第2章递归与分治-pptx。第3章 动态规划.pptx。第4章 贪心算法.pptx。第6章分支限界法.ppx。第1章法概述.pptx。第5章回溯法.pptx。

m0_54748666的博客 230

基于DPLL算法解决3-SAT问题(C++实现)

近日看到一个3-SAT问题(Boolean SATisfiability Problem, 布尔逻辑可满足性问题),试着写了个算法求解。

qq_63241496的博客 2218

基于Autoware制作高精地图(一)

基于Autoware制作高精地图(一) ​开始进入正题,也是最近在忙的一件事,制作高精地图。 高精地图的制作大概分为以下四个流程(不一定完全正确): 1.构建点云地图; 2.点云地图标注; 3.制作OpenDrive地图; 4.地图存储索引。 这篇文章主要讲解如何构建点云地图。 首先我们要有一段自己录制的激光雷达点云数据,这里推荐大家采用Velodyne16线激光雷达,因为这里我们构建的点云底图是三维的,而采用Velodyne而不是速腾聚创(rslidar)等其他品牌的原因是Autoware里面有一个选项是

weixin_44570248的博客 7800

从理论到实践:使用Sigrity SystemSI完成DDR4信号完整性仿真全流程解析

本文详细解析了使用Sigrity SystemSI完成DDR4信号完整性仿真的全流程,从核心挑战到实战操作。文章深入探讨了DDR4信号完整性问题,介绍了SystemSI工具链的演进与分工,并提供了从前期准备到高级技巧的详细指南,帮助工程师有效解决DDR4设计中的信号完整性问题。

weixin_30505225的博客 512

SPAD 单光子雪崩二极管

SPAD,全称为,是一种高灵敏度的光电探测器件,能够在非常低的光照水平下检测单个光子。SPAD在工作时,当一个光子被探测器吸收后,能够触发一个雪崩效应,产生一个可以被检测到的电信号。

qq_42786033的博客 1万+

为什么PCB设计中的50Ω阻抗如此重要?从USB到以太网的实战解析

本文深入解析了PCB设计中50Ω特征阻抗的核心重要性及其工程权衡起源。文章从传输线理论出发,阐释了阻抗匹配对防止信号反射、确保信号完整性的关键作用,并对比了USB、以太网等不同应用场景的阻抗标准。同时,文章结合实际案例,剖析了在两层板等简单设计中实现精准阻抗控制的难点与实战解决方案。

weixin_29268385的博客 298

(王道考研计算机网络)第三章数据链路层-第一节:数据链路层功能概述

文章目录一:本章概述二:数据链路层基本概念三:数据链路层功能概述(1)为网络层提供服务(2)链路管理(3)组帧(4)流量控制(5)差错控制 本章是计算机网络中入门较难的一章,如果没有接触过相关内容,可能会止步于一些晦涩难懂的术语。本节内容希望大家可以用心看一看,对于大家入门是很有帮助的 一:本章概述 数据链路层位于物理层之上,主要作用就是提高物理层传输比特流的能力,使物理层可能出现差错的连接转变为逻辑上无差错的数据链路,同时向网络层提供服务。本章学习的主要就是数据链路层的功能和应用 数据链路层功能 封

快乐江湖的博客 2472

使用 MATLAB/Simulink 对基于同步发电机的双机系统进行建模,并对其在短路故障条件下的暂态稳定性进行仿真和分析

双机系统(Two-Machine System)是电力系统中用于研究动态稳定性和控制策略的一个典型模型。它由两台同步发电机通过输电网络相互连接,模拟实际电网中的互联操作。当发生短路故障时,系统的暂态稳定性会受到挑战,可能导致发电机失步或电压崩溃。本教程将带你使用 MATLAB/Simulink 对基于同步发电机的双机系统进行建模,并对其在短路故障条件下的暂态稳定性进行仿真和分析。

amy_mhd的博客 8507

第一章 DRM 子系统概述:1.1 DRM 的组成与定位

DRM 是 Linux 内核中管理 GPU 资源的统一框架,核心职责已超越显示管理。其由两条主线构成:KMS(负责显示模式与输出)和资源管理(管理显存、调度与同步),二者呈单向依赖关系。KMS 依赖资源管理提供帧缓冲内存,而后者可独立运行于无显示需求的 AI 加速卡。因此,DRM 实质是内核级 GPU 内存与任务管理机制,本书聚焦资源管理部分,以对象生命周期为主线展开。

图形/计算GPU的驱动与虚拟化技术分享园地 55

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

上一篇: Enhancing Financial Sentiment Analysis via Retrieval Augmented Large Language Models
下一篇: DOES ALIGNMENT REALLY PREVENT THEM FROM BEING MISUSED?
UnknownBody
博客等级 码龄16年 5601粉丝 4752原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值