Pre-training by Predicting Program Dependencies for Vulnerability Analysis Tasks

预训练模型PDBERT助力软件漏洞分析
最新推荐文章于 2025-11-24 21:26:24 发布
原创 最新推荐文章于 2025-11-24 21:26:24 发布 · 805 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #安全 #软件工程 #人工智能

全文摘要

本篇论文探讨了如何利用预训练技术提高软件漏洞分析任务的理解能力。作者提出了两个新的预训练目标：控制依赖预测和数据依赖预测，旨在仅根据源代码预测代码片段中的语句级控制依赖和标记级数据依赖。通过预训练，模型可以学习到分析代码中细粒度依赖关系所需的知识，并在微调时提升对漏洞代码的理解能力。实验结果表明，使用CDP和DDP进行预训练的Transformer模型PDBERT在三个下游任务上取得了最先进的性能，同时在部分函数和完整函数中预测控制和数据依赖性的F1得分均超过了99%和94%。

figure_1

论文速读

论文方法

方法描述

该论文提出了一种名为PDBERT的预训练模型，用于程序依赖关系分析任务。PDBERT通过将源代码作为输入，并使用多层Transformer编码上下文嵌入来捕捉程序结构信息。它使用三个预训练任务：Masked Language Model（MLM）、Statement-Level Control Dependency Prediction（CDP）和Token-Level Data Dependency Prediction（DDP），以帮助模型学习关于程序结构的知识。其中，MLM用于捕捉自然性和语法结构，CDP用于预测语句级别的控制依赖关系，DDP用于预测标记级别的数据依赖关系。

方法改进

与现有的基于自回归模型或序列到序列模型的解决方案相比，PDBERT不需要解析输入程序或构建其PDG，这使得它的应用更加方便和高效。此外，PDBERT还采用了掩码策略来处理标记类型的差异，以帮助模型更好地理解程序结构。

解决的问题

PDBERT旨在解决程序依赖关系分析问题，这是一个重要的编程挑战，因为程序中的依赖关系可以影响程序的行为、性能和安全性。PDBERT的目标是为程序依赖关系分

最低0.47元/天 解锁文章
【论文笔记】Pre-training by Predicting Program Dependencies forVulnerability Analysis Tasks
u010128010的专栏
06-18 1667
通过预测程序依赖性对漏洞分析任务进行预训练 ICSE '24 浙江大学和华为合作
word2Vec进阶 -Bert
weixin_52185313的博客
05-07 1155
Word2Vec进阶 - Bert – 潘登同学的NLP笔记 文章目录Word2Vec进阶 - Bert -- 潘登同学的NLP笔记Bert介绍BERT的结构Bert的输入Bert的输出预训练任务Masked Language Model（MLM）Next Sentence Prediction（NSP）总结 Bert介绍 BERT，全称是Pre-training of Deep Bidirectional Transformers for Language Understanding。注意其中的每一个词都
Pre-training by Predicting Program Dependencies for Vulnerability Analysis Tasks论文分享
XLYcmy的博客
07-04 1121
对于漏洞检测，当前最先进的方法通常先借助静态分析工具（如Joern）提取程序依赖图（PDG），再基于PDG将程序表示为不同形式，例如代码片段、基于语法的表示、基于语义的向量表示或图结构表示，随后利用双向长短期记忆网络（Bi-LSTM）、卷积神经网络（CNN）或图神经网络（GNN）等不同神经模型提取输入程序的特征向量以实现漏洞检测。此外，本文的预训练技术可以被视为训练模型学习Joern的程序依赖分析知识，这仍然是有益的（如本文的外在评估所示）。此外，先前的工作表明，数据污染可能对预训练模型的性能影响很小。
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(二)
热门推荐
yinizhilianlove的博客
02-21 1万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
2019-01-28~2019-02-01
AstoncPou的博客
03-13 1803
2019-02-01 [1] 一种新颖的3D Reconstruction方法 论文题目：Pix2Vox: Context-aware 3D Reconstruction from Single and Multi-view Images 论文链接：https://arxiv.org/abs/1901.11153 摘要: Recovering the 3D representation of an...
AAAI2021论文列表（中英对照）
dovings的博客
07-04 1万+
AAAI2021论文列表（中英对照）
缺陷检测文献
轻舟已过万重山
09-02 8762
缺陷检测文献阅读
ICML 2019 Accepted Papers (Title, Author, Abstract, Code) (001-150)
qq280929090的专栏
07-14 5993
Title: Author: Abstract: Title: Author: Abstract: Title: Author: Abstract: Title: Author: Abstract: Title: Author: Abstract: Title: Author: Abstract: Title: Author: Abstract: Title: Author: Abstract: ...
SpanBERT: Improving Pre-training by Representing and Predicting Spans（2019-7-24）
weixin_49346755的博客
10-08 223
相比于BERT，SpanBERT主要是在预训练阶段进行了调整，如图1所示，具体包含以下几部分：随机地Masking一段连续的token增加了一项新的预训练任务：Span boundary Objective (SBO)去掉了NSP任务图1 SpanBERT改进点汇总图在接下来的内容中，我们将对这些预训练任务进行详细探讨，特别是前两个改进点。但是在正式讨论之前，我们先来回顾一下经典的BERT模型中的预训练任务。
Raki的读paper小记：SpanBERT: Improving Pre-training by Representing and Predicting Spans
Raki_J的博客
03-18 796
Abstract & Introduction & Related Work 研究任务 一种预训练方法，旨在更好地表示和预测文本的span 已有方法和相关工作 面临挑战 创新思路 在BERT的基础上，mask连续的随机span而不是tokens 训练span边界表征来预测被mask的span的全部内容，而不依赖其中的单个token表征 实验结论 在同样的训练数据下，在QA数据集上达到了sota 为了实现SpanBERT，我们建立在BERT的一个精心调整的副本上，它本身
[文献阅读]——SpanBERT: Improving Pre-training by Representing and Predicting Spans
jokerxsy的博客
05-06 746
d
【大模型训练】Efficient Continual Pre-training by Mitigating the Stability Gap
li_li_rui的专栏
07-17 1200
通过在Llama系列模型上的实验验证，这些策略不仅加速了性能提升，还提高了模型的峰值性能，特别是在医学领域的持续预训练和指令调优中，显著提高了性能，使其在多个医学基准测试中与GPT-4相媲美。这些策略有效地提高了模型在新任务上的性能，同时保持了对先前任务的性能，证明了它们在缓解稳定性差距方面的有效性。通过在Llama系列模型上的实验验证，这些策略不仅加速了性能提升，还提高了模型的峰值性能，特别是在医学领域的持续预训练和指令调整中，显著提高了模型在多个医学基准测试中的表现，达到了与GPT-4相媲美的水平。
鱼类识别系统【最新版】Python+TensorFlow+Vue3+Django+人工智能+深度学习+卷积神经网络算法
2301_78372746的博客
11-24 2077
鱼类识别系统，基于TensorFlow搭建卷积神经网络算法，通过收集了包括‘墨鱼’、‘多宝鱼’、‘带鱼’、‘石斑鱼’等在内的30种鱼类图像数据集进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。前端后端：Django算法：TensorFlow、卷积神经网络算法具体功能系统分为管理员和用户两个角色，登录后根据角色显示其可访问的页面模块。登录系统后可发布、查看、编辑文章，创建文章功能中集成了markdown编辑器，可对文章进行编辑。
ResNet (2015)（卷积神经网络）
weixin_45556264的博客
11-23 705
它不是一个复杂的理论突破，而是一个极其优雅和有效的工程解决方案，其“大道至简”的思想深刻地影响了整个领域。直到今天，基于ResNet的架构仍然是许多视觉任务的强大基线。在ResNet出现之前，主流的认知是：网络越深，表达能力越强，性能应该越好。论文中提出了几种不同深度的ResNet变体，最著名的是ResNet-34和ResNet-50/101/152。这种下降不是由过拟合引起的，因为即使在训练集上，深层的模型误差也比浅层模型更高。这是ResNet的核心构建模块。，巧妙地解决了极深神经网络的。
【数据挖掘】基于深度学习的生产车间智能管控研究
汉斯出版社旗下编辑，定期更新计算机前沿论文
11-24 1064
摘要：本研究针对生产车间安全管理需求，提出基于YOLOv8算法的智能管控系统。通过构建2000张人员检测和2000个跌倒样本的专用数据集，优化网络结构设计，采用多尺度特征融合策略，实现了人员密度监测和跌倒行为识别。实验表明模型精度稳定，系统具备实时检测预警功能，为车间安全管理提供了有效解决方案。研究获江西省教育厅科技项目支持（GJJ210817），具有实际应用价值。
【神经网络与深度学习（吴恩达）】神经网络基础学习笔记
qq_62361050的博客
11-24 707
接下来我们符号化一下表示，首先将x和y放在一起，x表示某张图片的特征向量，y表示分类结果，将所有的样本图片和与其对应的分类结果放在一块，即可组成数量为m的训练集，然后将所有x特征向量按列依次放入一个矩阵中即可组成一个X，表示待分类的图片特征数据矩阵，在Python语言中X.shape = (nx,m)，分类完成后，结果矩阵Y，表示所有分类结果数据，在Python语言中Y.shape = (1,m)。一个神经网络的计算都是按照前向或反向传播过程来实现的，首先计算出神经网络的输出，紧接着进行一个反向传输操作。
【深度学习新浪潮】如何使用多模态大模型进行图片的开放词汇语义分割？
智能守恒_HengAI
11-23 191
"""加载并预处理图像""""""使用Grounding DINO检测目标边界框""""""使用SAM生成分割掩码"""# 转换图像为numpy数组# 设置SAM图像编码器# 转换边界框格式（xyxy -> yxyx，且归一化到0-1）boxes_yxyx = boxes_xyxy[:, [1, 0, 3, 2]] # SAM要求yxyx格式# 生成掩码本文提出的泛化性强：支持任意文本描述的类别分割，无需重新训练。易用性高：基于开源库构建，代码量少于200行即可落地。性能可靠。
神经网络深度解析：从神经元到深度学习的进化之路
qq_51229257的博客
11-24 686
周志华《机器学习》第五章“神经网络”是连接传统机器学习与深度学习的桥梁——它从模拟人脑神经元的基本模型出发，逐步构建多层网络，核心突破是BP算法的提出，最终延伸到深度学习的核心思想。本章的核心逻辑是：通过“神经元加权求和+激活函数”构建基本单元，用多层结构拟合非线性关系，靠BP算法优化参数，再通过不同网络拓扑适应不同任务。本文将从“基础模型→核心算法→代码实现→习题解答”四个维度，用通俗比喻和实例拆解第五章的核心知识，帮你吃透神经网络的设计原理与工程实践。神经网络的最小单元是神经元，源于1943年提出的M-
深度学习——神经网络
最新发布
2303_80634169的博客
11-24 3663
本文梳理了深度学习中的核心网络模型及其组件。基础模型包括MLP（全连接层堆叠）、CNN（卷积结构处理图像）、RNN（循环结构处理序列）和Transformer（自注意力机制）。扩展模型涵盖跨模态融合（如CLIP）、图神经网络（如GCN）和强化学习网络（如DQN）。核心组件涉及网络层（卷积/全连接/注意力等）、激活函数（ReLU/Sigmoid等）、优化器（Adam/SGD等）、损失函数（交叉熵/MSE等）以及数据处理方法。通过系统分类和典型示例，为深度学习模型选择与设计提供参考框架。
Generative Pre-trained Transformer
03-31
The Generative Pre-trained Transformer (GPT) is a type of deep learning model used for natural language processing (NLP) tasks. It was developed by OpenAI and is based on the transformer architecture. GPT is pre-trained on massive amounts of text data and can generate human-like text, complete sentences, paragraphs, or even entire articles. The GPT models are unsupervised and learn by predicting the next word or sequence of words based on the context of the previous words in the sentence. The pre-training process involves two main steps: unsupervised pre-training and supervised fine-tuning. In the unsupervised pre-training step, the model is trained on a large corpus of text data using a task called language modeling. This involves predicting the likelihood of the next word in a sequence given the previous words. The model is trained to generate coherent and meaningful sentences by predicting the most likely next word based on the context of the previous words. In the supervised fine-tuning step, the pre-trained model is fine-tuned on a specific task such as sentiment analysis, machine translation, or question answering. The fine-tuning process involves training the model on a smaller dataset with labeled examples. The GPT models have achieved state-of-the-art performance on various NLP tasks, including language modeling, text generation, and question answering. They are widely used in industry and academia for various NLP applications.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值