LLM4Decompile: Decompiling Binary Code with Large Language Models

最新推荐文章于 2025-09-27 04:04:16 发布
最新推荐文章于 2025-09-27 04:04:16 发布
阅读量318 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Daily LLM for code 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139957935

本文是LLM系列文章，针对《LLM4Decompile: Decompiling Binary Code with Large Language Models》的翻译。

LLM4Decompile：用大型语言模型分解二进制代码

摘要

反编译旨在将二进制代码转换为高级源代码，但像Ghidra这样的传统工具往往会产生难以读取和执行的结果。受大型语言模型（LLM）进步的启发，我们提出了LLM4Decompile，这是第一个也是最大的开源LLM系列（1.3B到33B），用于反编译二进制代码。我们优化了LLM训练过程，并引入LLM4Decompile-End模型来直接反编译二进制文件。由此产生的模型在HumanEval和ExeBeach基准测试中显著优于GPT-4o和Ghidra超过100%。此外，我们改进了标准细化方法来微调LLM4Decompile Ref模型，使它们能够有效地细化Ghidra的反编译代码，并比LLM4Deccompile End进一步提高16.2%。LLM4Decompile1展示了LLM彻底改变二进制代码反编译的潜力，显著提高了可读性和可执行性，同时补充了传统工具以获得最佳结果。

1 引言

2 相关工作

3 LLM4Decompile

4 实验

5 混淆讨论

6 结论

我们提出了LLM4Decompile，这是第一个也是最大的开源LLM系列，其大小从1.3B到33B不等，用于反编译二进制代码。基于End2end反编译方法，我们优化了LLM训练过程，并引入LLM4Decompile-End模型来直接反编译二进制文件。由此产生的6.7B模型在Hum

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【反编译二进制代码 + LLM】LLM4Decompile: Decompiling Binary Code with Large Language Models
Arachis_X的博客
03-19 1580
反编译的目的是将编译后的代码还原为人类可读的源代码，但在名称和结构等细节方面却很难做到。大型语言模型（LLM）在编程任务中大有可为，这促使它们被应用于反编译。然而，目前还没有任何用于反编译的开源 LLM。此外，现有的反编译评估系统主要考虑标记级的准确性，在很大程度上忽略了代码的可执行性，而代码的可执行性是任何程序最重要的特征。因此，我们发布了首个开源反编译 LLM，其范围从 1B 到 33B 不等，对 40 亿个 C 源代码标记和相应的汇编代码进行了预训练。
[全网首发中文版]LLM4Decompile: Decompiling Binary Code with Large Language Models
liferecords的博客
03-18 2327
反编译是将已编译的机器代码或字节码转换回高级编程语言的过程。当源代码无法访问时，通常会这样做来分析软件的工作原理 Brumley 等人 (2013)；Katz 等人 (2018);胡赛尼和多兰-加维特 (2022)；徐等人 (2023);Armengol-Estapé 等人 (2023);江等人 (2023);黄等人(2023)。目前已经开发了许多反编译工具，例如 Ghidra Ghidra (2024) 和 IDA Pro Hex-Rays (2024)。
LLM4Decompile用户案例：游戏逆向工程中使用工具恢复丢失源码
最新发布
gitblog_01147的博客
09-27 1506
你是否曾因游戏源码丢失而陷入困境？是否面对复杂的二进制文件无从下手？本文将通过一个实际案例，展示如何使用LLM4Decompile这款革命性的逆向工程工具，在游戏逆向工程中恢复丢失的源码。读完本文，你将了解LLM4Decompile的基本使用方法、工作流程以及在游戏逆向工程中的实际应用效果。 ## 项目背景与工具介绍 LLM4Decompile是一款面向软件逆向工程领域的革命性工具，它利用大型...
LLM4Decompile——专门用于反编译的大规模语言模型
知来者逆的博客
07-04 3287
LLM4Decompile 是一项致力于反编译程序的开创性举措。首先，在构建预训练数据时，它以一百万个名为 Anghabench 的公开可编译 C 文件为基础。利用这一丰富的数据集创建汇编代码和源代码对。具体来说，首先将源代码转换为二进制对象文件，然后将其反汇编为汇编代码，并与 x86 Linux 平台上的源代码配对。它还考虑了程序员为优化执行性能而使用的各种编译器优化标志。优化过程是一种将源代码转换为更快、更高效的机器代码的技术。
LLM4Decompile 开源项目教程
gitblog_00776的博客
08-12 792
LLM4Decompile 是一个利用大型语言模型（LLMs）进行二进制代码反编译的开源项目。该项目旨在将二进制代码转换为高级源代码，通过优化 LLM 训练过程，引入新的训练方法和模型架构，显著提高了反编译代码的可读性和可执行性。LLM4Decompile 包括多个模型，参数大小从 1.3 亿到 33 亿不等，这些模型在 HumanEval 和 ExeBench 基准测试中显著超越了 GPT-4o...
【亲测免费】 LLM4Decompile 项目使用教程
gitblog_00461的博客
08-12 1119
LLM4Decompile 项目的目录结构如下： ``` LLM4Decompile/ ├── decompile-eval/ ├── evaluation/ ├── ghidra/ ├── samples/ ├── scripts/ ├── train/ ├── .gitignore ├── LICENSE ├── LICENSE-MODEL ├── README.md ├── require...
ChatRule: Mining Logical Rules with Large Language Models for Knowledge Graph Reasoning
weixin_43961909的博客
07-20 1797
逻辑规则对于揭示关系之间的逻辑联系至关重要，这可以提高推理性能并在知识图谱（KG）上提供可解释的结果。尽管人们已经做出了许多努力来挖掘知识图谱上有意义的逻辑规则，但现有的方法存在对规则空间的计算密集型搜索以及缺乏大规模知识图谱的可扩展性的问题。此外，他们经常忽略关系的语义，而这对于揭示逻辑联系至关重要。近年来，大型语言模型（LLM）由于其新兴能力和泛化性，在自然语言处理和各种应用领域表现出了令人印象深刻的性能。
VoCo-LLaMA: Towards Vision Compression with Large Language Models
qgh1223的博客
12-03 1122
视觉语言模型在各种多模态任务上取得了显著的成功，但经常受到有限上下文窗口和处理高分辨率图像输入和视频的高计算成本的瓶颈。视觉压缩可以通过减少视觉令牌数量避免该问题。先前方法使用额外模块压缩视觉令牌并强制LLM理解压缩的令牌。然而，LLM对视觉令牌的理解范式在压缩学习过程中没有充分利用。本文提出了VoCo-LLaMA，这是第一种使用LLM压缩视觉视觉令牌的方法。通过在视觉指令调整过程中引入视觉压缩令牌并利用注意力蒸馏，本文方法蒸馏了LLM如何将LLM视觉令牌理解到它们对VoCo令牌的处理。
【LLM+三维场景】3D-GPT: Procedural 3D MODELING WITH LARGE LANGUAGE MODELS
Arachis_X的博客
03-10 1507
在追求高效的自动内容创建过程中，利用可修改参数和基于规则的系统进行程序生成是一种很有前途的方法。然而，由于其复杂性，需要对规则、算法和参数有深入的了解，这可能是一项艰巨的工作。为了减少工作量，我们引入了 3D-GPT 框架，该框架利用大型语言模型（LLM）进行指令驱动的 3D 建模。3D-GPT 将大型语言模型定位为熟练的问题解决者，将程序化三维建模任务分解为可访问的片段，并为每个任务指定合适的agent。任务派遣agent;概念化agent;建模agent。
【亲测免费】 题目：LLM4Decompile：一款高效、开源的.NET程序反编译器
gitblog_00096的博客
04-19 624
在软件开发领域，有时我们需要对已有的.NET程序进行逆向工程，以理解其内部工作原理或者进行二次开发。今天，我们很高兴为您推荐一个强大的开源项目——，它是一个高效的.NET程序反编译工具，旨在帮助开发者们更便捷地完成这项任务。 ## 项目简介 LLM4Decompile是由Albertan017开发并维护的一款工具，它能够将IL（Intermediate Language）代码转换为可读性高的C...
首发：LLM4Decompile反编译大模型的试用实践过程梳理
qq_34241037的博客
08-03 1163
手把手，一步一步实践LLM4Decompile
【前沿探索】|大模型在二进制安全领域中的应用
m0_73736695的博客
05-15 3126
本文调研和测试了截至2024年5月的所有二进制相关大模型研究方案，探讨了利用大模型技术辅助二进制分析的策略、实施方案以及成果分析。这项研究旨在分享该领域的应用成熟度，并与各位专家交流，推动进一步的产品化成熟落地。
大模型日报3月11日
LLM_SPACE的博客
03-12 1143
# 资讯 ## 研究 ### 前端不存在了？盲测64%的人更喜欢GPT-4V的设计，杨笛一等团队新作 https://mp.weixin.qq.com/s/uQ8T4VS9hyD-R-CNytFZcA 将视觉设计实现成执行功能的代码是一项颇具挑战性的任务，因为这需要理解视觉元素和它们的布局，然后将它们翻译成结构化的代码。这个过程需要复杂的技能，也因此让很多普通人无法构建自己的网络应用，即便他们已经有了非常具体的构建或设计思路。不仅如此，由于这个过程需要不同领域的专业知识，因此往往需要
【前沿探索】-大模型在二进制安全领域中的应用
2401_85773741的博客
12-12 2299
云起AI安全大脑是专为企业级大模型系统设计的全方位解决方案，旨在提供智能体管理和模型管理的一体化平台。该平台为企业级用户提供便捷、安全的智能体管理和模型管理服务，帮助用户构建高效、稳定的AI系统。SecGPT 是全球首个网络安全开源大模型，可用作基座安全模型，适用于代码分析、流量分析、溯源分析等多种应用。这使得 SecGPT在处理网络安全问题时，具有广泛的适用性和强大的分析能力。
LLM4Decompile API详解：text_generation.py中的文本生成服务接口
gitblog_00104的博客
09-27 358
在软件逆向工程领域，文本生成服务接口是连接大型语言模型与反编译流程的关键纽带。evaluation/server/text_generation.py作为LLM4Decompile项目的核心组件，提供了高效、灵活的文本生成能力，为二进制代码到C源代码的转换过程提供强大支持。本文将深入剖析该文件中的API设计与实现细节，帮助开发者快速集成和使用文本生成服务。 ## 服务架构概览 text_gen...
【论文阅读】WaDec: Decompiling WebAssembly Using Large Language Model
网络空间安全|人工智能|计算机科学
11-14 1197
论文阅读笔记：WaDec: Decompiling WebAssembly Using Large Language Model 1. 来源出处 论文标题: WaDec: Decompiling WebAssembly Using Large Language Model 作者: Xinyu She, Yanjie Zhao, Haoyu Wang 会议: 39th IEEE/ACM International Conference on Automated Software Engineering (
LLM大模型部署实战指南：部署简化流程
丨汀、的博客
08-29 502
Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。，这是 Ollama 的官网地址：https://ollama.com/
Anchor Attention, Small Cache: Code Generation with Large Language Models论文复现
09-03
<think> 嗯，用户想复现《Anchor Attention, Small Cache: Code Generation with Large Language Models》论文，我需要仔细分析用户的需求。首先，用户提到了站内引用，但内容是关于多模态大模型的，和这篇论文关系不大，可能用户之前有其他讨论？我应该专注于这篇Anchor Attention的论文复现。 用户的问题集中在复现方法上，我得回想这篇论文的核心技术。根据标题，论文应该涉及两个关键技术点：Anchor Attention和Small Cache机制。Anchor Attention可能是一种新的注意力机制，用于提升代码生成的效率，而Small Cache可能涉及KV缓存优化以减少显存占用。不过具体细节需要确认论文内容。 考虑到用户可能需要具体步骤，我应该拆解复现流程。首先准备阶段：获取论文和代码，确认实验环境，包括硬件要求如GPU显存大小，软件环境如PyTorch版本。然后是代码库检查，论文提到开源了吗？需要查证是否在GitHub发布过官方实现。如果没有官方代码，用户可能需要自行实现，这会增加难度。 接着是模型选择。论文可能基于特定开源模型如CodeLlama或StarCoder，用户需要下载对应的预训练权重。数据处理部分也很重要，代码生成通常使用BigCode的Stack数据集，但可能需要过滤或预处理，比如选择特定语言或license的代码片段。 核心技术实现部分，Anchor Attention的机制可能需要修改现有注意力模块。根据论文描述，它可能通过缓存关键token的KV对来减少计算量。这里需要理解论文中的公式和结构图，可能涉及对注意力得分的加权处理或引入额外的缓存管理机制。Small Cache的实现可能涉及动态更新策略，比如保留高频访问的KV对，这部分需要仔细设计。 测试环节需要关注BLEU或Pass@k等代码评估指标，同时比较显存消耗和推理速度的变化。如果复现结果与论文有差异，可能需要调整超参数或检查实现细节。 用户可能遇到的挑战包括：显存不足、性能不匹配、细节缺失等。建议从小规模实验开始，比如单GPU调试，逐步扩展。另外，查阅论文的附录或联系作者获取细节也是可行的方案。 最后，相关问题的设计应围绕复现难点和应用扩展，比如优化技巧、不同场景的适配性等，帮助用户深入理解。 </think> 根据论文《Anchor Attention, Small Cache: Code Generation with Large Language Models》的核心思想，复现工作可分为以下关键步骤： --- ### 复现步骤详解 #### 1. **环境准备** - **硬件**：配备高性能GPU（如A100 80G）的服务器 - **框架**：安装 PyTorch 2.0+ 和 Hugging Face Transformers 库 ```bash pip install torch==2.1.0 transformers==4.35.0 ``` #### 2. **模型选择与改造** - **基础模型**：选用论文指定的开源代码LLM（如 CodeLlama-7B） - **注意力改造**：实现 Anchor Attention 模块 ```python class AnchorAttention(nn.Module): def __init__(self, base_attention): super().__init__() self.base_attn = base_attention # 添加锚点缓存管理逻辑 self.anchor_cache = CircularCache(size=256) # 小缓存设计 def forward(self, hidden_states, anchors): # 步骤1：计算锚点注意力权重 anchor_attn = self._compute_anchor_weights(hidden_states, anchors) # 步骤2：与原注意力融合 combined_attn = self.base_attn(hidden_states) * anchor_attn return combined_attn ``` #### 3. **数据处理** - **数据集**：使用 BigCode 的 Stack 数据集（需过滤保留许可代码） - **预处理**：构建锚点标记策略 ```python def extract_anchors(code): # 提取关键词作为锚点（如 for/if/def 等控制流标记） return [token for token in code.split() if token in KEYWORDS] ``` #### 4. **训练配置** | 参数 | 推荐值 | 说明 | |---------------|---------------|--------------------------| | 学习率 | 2e-5 | 余弦衰减策略 | | 批大小 | 16 | 梯度累积步数=4 | | 最大长度 | 2048 | 包含锚点标记 | | 训练轮次 | 3 | 早停监测验证集BLEU | #### 5. **推理优化** - **缓存机制**：实现论文提出的两级缓存 ```python class HybridCache: def __init__(self): self.static_cache = [] # 锚点固定缓存 self.dynamic_cache = deque(maxlen=128) # 动态小缓存 def update(self, new_kv): # 动态缓存淘汰策略（LRU） if len(self.dynamic_cache) == 128: self.dynamic_cache.popleft() self.dynamic_cache.append(new_kv) ``` #### 6. **验证指标** - 主要指标：`BLEU-4`, `CodeBLEU`, `Pass@k` - 效率指标：显存占用峰值、单 token 延迟 --- ### 关键挑战与解决方案 1. **锚点选择策略** - 问题：不同编程语言的锚点差异大 - 方案：实现语言自适应的锚点提取器，参考论文附录B的启发式规则 2. **缓存一致性** - 问题：长上下文下缓存更新可能引发逻辑错误 - 方案：引入缓存验证机制（如论文3.2节的哈希校验） 3. **训练稳定性** - 问题：混合注意力导致梯度异常 - 方案：采用梯度裁剪（`max_norm=1.0`） + LayerScale 技术 --- ### 复现验证建议 1. **渐进式实现**： ```mermaid graph LR A[原始LLM] --> B[+Anchor Attention] B --> C[+Small Cache] C --> D[端到端训练] ``` 2. **对比实验**： - 基准组：原始LLM - 实验组1：仅添加锚点注意力 - 实验组2：完整系统 3. **显存监控**： ```bash nvidia-smi --query-gpu=memory.used --format=csv -l 1 ``` --- ### 相关延伸问题 1. Anchor Attention 与传统注意力机制在计算复杂度上有何本质区别？ 2. 如何将该技术适配到非代码生成任务（如数学推理）？ 3. Small Cache 的淘汰策略是否会影响特定代码模式（如递归函数）的性能？ 4. 论文中提到的“锚点冲突”问题在实际工程中如何缓解？ > 论文复现核心在于把握 **计算效率** 与 **语义准确性** 的平衡点。建议优先复现第4章的消融实验（特别是表2），这能快速验证关键技术模块的有效性[^1]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值