50、逆向分析：反调试、代码混淆与漏洞分析

逆向分析：反调试、代码混淆与漏洞分析

1. 反调试技术与模拟处理

在逆向分析过程中，程序常常会采用一些反调试技术来阻止调试器的介入。比如，在两次 rdtsc 调用之间模拟执行的指令数量通常会被控制得很小，目的是让被模拟的程序认为没有调试器附加。

另外，故意使用异常也是一种反调试技术，而模拟器需要处理这些异常。以模拟 Windows 程序为例，当遇到异常或软件中断时，模拟器会构建一个 SEH CONTEXT 结构，通过 fs:[0] 遍历异常处理程序列表来定位当前的异常处理程序，并将控制权转移给已安装的异常处理程序。当异常处理程序返回后，模拟器会从 CONTEXT 结构中恢复 CPU 状态。

x86emu 会模拟 x86 硬件调试寄存器的行为，但它不会利用这些寄存器在被模拟程序中设置断点。它会维护一个用户指定的断点内部列表，并在执行每条指令之前进行扫描。在 Windows 异常处理程序中对调试寄存器的任何操作都不会干扰模拟器的运行。

2. 基于虚拟机的代码混淆

一些复杂的混淆器会使用自定义字节码和相关虚拟机来重新实现输入的程序。当面对这样的混淆二进制文件时，我们看到的原生代码往往只是虚拟机部分。即便我们识别出这是一个软件虚拟机，全面理解其代码也通常无法揭示混淆程序的真正目的，因为程序的行为隐藏在虚拟机需要解释的嵌入式字节码中。

要完全理解这类程序，我们需要完成两个关键步骤：
1. 定位所有嵌入式字节码。
2. 逆向工程虚拟机的指令集，以便正确解释字节码的含义。

以 VMProt