Adopting Large Language Models to Automated System Integration

主要内容

1. 研究背景：现代企业计算系统集成众多子系统，自动服务组合可减少人工、加快上市并适应业务变化。传统方法依赖复杂形式建模，LLMs的出现为自动服务组合提供新途径，研究旨在探究LLMs在自动服务组合中的应用效果。
2. 研究方法：提出Compositio Prompto软件架构，分析RAG用于服务发现，引入基于自然语言查询的服务发现基准SOCBench-D，并扩展到完整服务组合场景。通过现有RestBench基准和自定义SOCBench-D基准评估RAG分块策略和嵌入模型。
3. 研究结果：Compositio Prompto架构实验表明大模型能完美解决部分任务，小模型也能给出近似解。扩展Lemos分类法，验证新子类的必要性。RAG应用显示按端点拆分OpenAPI有益，不同嵌入模型性能有差异。
4. 未来工作：分析包含RAG服务发现的完整服务组合，通过代码分析创建基准，衡量对开发时间节省、可持续性的影响，研究LLM代理等先进方法。

创新点

1. 架构创新：提出Compositio Prompto软件架构，利用LLMs实现自动服务组合，以任务、服务文档和输入输出模式创建提示，生成可执行服务组合。
2. 分类扩展：扩展Lemos分类法，增加涵盖LLMs自然语言理解、语义处理和文本生成能力的子类，完善服务组合分类体系。
3. 基准创新</