LLM应用实战：当图谱问答(KBQA)集成大模型(三)

1. 背景

最近比较忙(也有点茫)，本qiang~想切入多模态大模型领域，所以一直在潜心研读中...

本次的更新内容主要是响应图谱问答集成LLM项目中反馈问题的优化总结，对KBQA集成LLM不熟悉的客官可以翻翻之前的文章《LLM应用实战：当KBQA集成LLM》、《LLM应用实战：当KBQA集成LLM(二)》。

针对KBQA集成LLM项目，该系列文章主要是通过大模型来代替传统KBQA的相关功能组件，实现知识图谱问答，以及如何针对问答效果、多轮对话、响应时间等优化工作总结，是妥妥的干货篇，感兴趣的客官可以持续关注！

本次的主要优化点在于如下：

1. 响应时间

项目的验收标准是流式首字的响应时间在3s内，而当前服务的平均响应时间在5s-7s之间，不符合项目验收标准。

2. 多轮对话

由于当前多轮对话中的指代消解、默认实体或概念对齐均由大模型处理，由于基座大模型的不稳定性，存在偶现的多轮对话中的对象指代错误的情况。

2. 响应时间优化

2.1 响应时间统计

基于前文展示的流程图，针对每个节点进行单次响应时间的统计，结果如下：

模块	耗时
图谱初始化	558ms(仅第一次会耗时)
候选schema召回	49ms
对齐prompt调用LLM完整响应时间	2800ms
对齐校准	15ms