Understanding the Supply Chain and Risks of Large Language Model Applications

文章主要内容和创新点

主要内容

本文聚焦大型语言模型（LLM）应用的供应链风险，指出LLM系统并非独立模型，而是依赖预训练模型、第三方库、数据集和基础设施等组成的复杂供应链。现有风险评估多局限于模型或数据层面，缺乏对整个供应链的系统分析，且缺乏支持此类研究的基准数据集。

为此，研究团队构建了首个全面的基准数据集LLMSCBench，涵盖3859个LLM应用、109211个模型、2474个数据集、8862个库及其依赖关系，并从公共漏洞数据库中提取了1555个风险相关问题（应用50个、模型325个、数据集18个、库1229个）。基于该数据集的实证研究揭示：LLM应用存在复杂且深度嵌套的依赖关系，供应链中普遍存在显著漏洞，亟需更 robust的安全与隐私实践。最后，文章为研究者和开发者提供了切实可行的建议，以指导安全、可信的LLM系统开发。

创新点

1. 提出LLMSCBench基准数据集：首个涵盖LLM应用、模型、数据集、库及其风险问题的数据集，支持LLM供应链风险评估研究。
2. 构建细粒度依赖关系：明确基础组件（直接用于应用的模型、数据集、库）与依赖组件（基础组件所依赖的其他元素）的依赖关系，为供应链分析和风险传播研究提供支撑。
3. 系统探索性研究：基于LLMSCBench分析了供应链的依赖结构和风险特征，揭示了LLM应用的复杂依赖模式和风险分布，为相关研究和实践提供了可操作的见解。

<