TickIt: Leveraging Large Language Models for Automated Ticket Escalation

主要内容

随着云计算发展，云服务平台的客户支持工单处理愈发重要。传统手动工单升级流程效率低、易出错，现有机器学习模型在处理工单升级时也存在不足。本文提出TickIt，一种基于大语言模型的在线工单升级框架。

1. 相关工作：自动工单升级方法有二元分类、特征工程等，但存在语义理解不足等问题；语言模型在工单分析中有应用，但利用大语言模型进行工单升级的研究有限。
2. 方法：TickIt通过多类工单升级、升级去重和类别引导微调三个关键功能，利用大语言模型理解工单内容、挖掘工单关系并持续优化性能。
3. 实验：在火山引擎部署TickIt，收集数据并划分数据集。对比多种基线方法，评估指标包括工单升级的精确率、召回率和F1值，以及升级去重的相关指标。实验结果表明，基于大语言模型的方法性能优于基于小语言模型的方法，类别引导微调能提升性能，同时确定了升级去重的最佳阈值，证明了改写机制的有效性。
4. 讨论与经验教训：分析TickIt错误升级的工单，发现语义分析存在局限性。TickIt提高了人力效率，减少了平均修复时间，得到了支持分析师的认可和建议。
5. 结论与未来工作：TickIt利用大语言模型准确判断工单升级类型并去重，提升了效率。未来计划从客户层级、云服务产品等角度探索工单升级