Can Small GenAI Language Models Rival Large Language Models in Understanding Application Behavior?

一、文章主要内容总结

该研究聚焦于小型生成式AI语言模型（SLMs）与大型语言模型（LLMs）在应用程序行为理解（以恶意软件检测为代表性任务）中的能力对比。研究团队以SBAN数据集的10,000个样本（含5,000个良性代码和5,000个恶意软件代码）为基础，选取DeepSeek、Phi、Llama、Qwen、Mistral系列的5个不同参数规模模型，通过分类头和基于提示词两种方法，从准确率、精确率、召回率、F1分数等维度进行系统评估。

核心发现包括：

1. 大型模型（如Qwen-2.5-7B）整体准确率更高，但小型模型（如Phi-4-mini）在特定指标（如恶意软件类F1分数）上表现出竞争力；
2. 基于提示词的方法性能显著优于分类头方法，其中Phi-4-mini的恶意软件类F1分数达87%，Llama-3.1-8B达84%；
3. 小型模型在计算效率、推理速度、低资源环境部署可行性上具有明显优势，可作为大型模型的有效补充，在资源受限场景中提供实用解决方案。

二、文章创新点

1. 首次系统性对比SLMs与LLMs在恶意软件检测任务中的表现，同时采用分类头和直接提示词两种方法，提供多维度评估指标；
2. 验证了小型模型在特定场景下（如恶意软件识别）的性能潜力，突破了“模型越大性能越好”的单一认知，强调性能与资源效率的平衡；
3. 基于SBAN多维度数据集开展实验，样本包含公开来源和AI生成的代码，提升了实验结果的可靠性和泛化性；
4. 深入分析了模型在良性与恶意代码分类中的优势与短板，为实际部署中模型选择（如优先考虑召回率或