VisPile: A Visual Analytics System for Analyzing Multiple Text Documents With Large Language Models

该文章提出了VisPile可视化分析系统，通过整合大型语言模型（LLMs）和知识图谱（KGs），辅助情报分析师对多文本文档进行分组、意义构建与证据验证，同时基于6位专业分析师反馈验证了系统有效性。

一、文章主要内容总结

1. 研究背景：情报分析师处理海量文本时，需平衡人工与自动化分析的矛盾；LLMs擅长文本总结、问答，KGs可验证事实并关联源文档，但二者在可视化文本分析工具中的有效整合尚不明晰。
2. 系统设计：VisPile以Pirolli和Card意义构建循环为理论基础，设定6大设计目标（如LLM支持开放式文档搜索、KG关联源文档等），采用Vue.js构建Web应用，输入文本语料后，先预处理文档元数据，再用BERTopic生成主题模型、按Pan等人方法构建KG（提取<实体,关系,实体>三元组并去重）。
3. 核心功能：支持LLM语义搜索与KG事实列表检索文档；允许用户拖拽文档形成“堆”，对堆执行9类LLM任务（如总结事件、提取实体等）；提供Extract、Link、Suggest按钮验证LLM与KG证据，如Link可关联LLM响应与源文档句子。
4. 专家反馈：6位美国情报社区分析师试用后，认可系统减少阅读量、辅助假设探索的价值，常用LLM相似搜索、主题分组功能，但也指出对LLM/KG的信任问题（如LLM幻觉），且Traceability（可追溯性）对工作流至关重要。
5. 局限性：仅用短文本的KRONOS数据集、仅测试GPT-3.5 Turbo、未做实体匹