Collaborative Intelligence: Topic Modelling of Large Language Model use in Live Cybersecurity Ope...

文章总结与关键内容翻译

一、文章主要内容总结

本文是一篇实证研究论文，聚焦大型语言模型（LLM）在安全运营中心（SOC）实时网络安全操作中的应用，通过主题建模方法分析SOC人员对LLM的实际使用情况，旨在为优化SOC工作流程、开发下一代协作工具提供依据。

1. 研究背景与目标

• 背景：人机协作团队已被广泛研究，但基于Transformer的语言模型引发了新的协作浪潮。某大型网络安全提供商的SOC人员在实时安全操作中使用LLM辅助工作，却缺乏对其具体使用场景的深入分析。
• 目标：通过主题建模，明确SOC专家在实时安全运营中如何主动使用LLM，理解其核心需求与使用习惯。

2. 研究方法

• 数据来源：收集加拿大网络安全公司eSentire旗下两个SOC（爱尔兰、加拿大）的45名操作员，在2023年10月至2024年2月（10个月）内通过内部HTTP聊天应用访问GPT-4的3787条交互记录。
• 主题建模方法：
  • 实验1（传统方法）：采用成熟的BERTopic模型（基于Transformer的主题建模工具），将LLM交互记录转化为高维向量（使用“all-mpnet-base-v2”编码模型），提取90个主题类别，并进一步聚类为6个高阶集群，分析各主题的词频与权重。