SBAN: A Framework & Multi-Dimensional Dataset for Large Language Model Pre-Training and Software ...

一、文章主要内容总结

本文介绍了SBAN（Source code, Binary, Assembly, and Natural Language Description），一个面向大型语言模型（LLMs）预训练和软件代码挖掘的大规模多维数据集。该数据集包含超过330万个软件样本（280万个良性样本、54.1万个恶意样本），每个样本均涵盖二进制代码、汇编指令、源代码和自然语言描述四个互补的表示层，解决了现有数据集多聚焦单一表示层、限制跨模态学习的问题。

文章详细阐述了SBAN的构建流程：从可信来源收集良性（如CodeNet、ExeBench）和恶意（如MalwareBazaar、SOREL-20M）样本，通过逆向工程与反编译补充缺失的源代码，经NLP预处理（去重、标准化等）和LLM（Qwen系列模型）优化代码与生成注释，最终通过LLM语义评估和多杀毒引擎验证确保数据完整性。

此外，文章通过实验验证了数据集的有效性：基于SBAN预训练的LLM在C++代码掩码预测任务中，困惑度显著降低，表现优于未预训练模型。SBAN支持恶意软件检测、代码翻译、代码摘要、跨模态学习等多种任务，为软件安全分析和LLM在代码领域的应用提供了 robust 基础。

二、文章创新点

1. 多维统一数据集设计：首次将源代码、二进制代码、汇编指令、自然语言描述四种软件表示层整合到单一基准数据集中，实现低级别机器表示与高级别人类语义的桥接，支持丰富的跨模态代码分析。
2. 大规模与高多样性：涵盖330多万个真实世界软件样本，兼顾良性与恶意软件（含多种恶意软件家族和新兴威胁