运行时错误检查（/RTC）编译选项及实现原理

转载自：http://blog.youkuaiyun.com/magictong/article/details/6306820

环境：VS2005

前因后果：debug居然编不过！！！这里准备说4个例子，都是为了说明debug版本对于调试是很重要的，很多问题在调试版本下都会提前暴露出来。

 

注意：随意调整优化，可调试选项可能会遇到下面的编译错误：

Command line error D8016 : '/O2' and '/RTC1' command-line options are incompatible

 

（http://msdn.microsoft.com/zh-cn/library/8wtf2dfz(v=vs.80).aspx）

1、/GS

名称：缓冲区安全检查（http://msdn.microsoft.com/zh-cn/library/8dbf701c(v=vs.80).aspx）。

编译选项位置：C/C++ à Code Generation à Buffer Security Check

说明：缓冲区溢出安全检测，要强调的是，该编译选项并不是对每一个函数都设置安全cookies。编译器首先会判断一个函数是否是属于“潜在危险”的函数，例如是否在函数的堆栈上分配了字符串数组等等，就可以作为一个特征（编译器怎么判断的偶没研究过o(∩_∩)o ）。只有被编译器判断是存在“潜在危险”的函数之后，编译器才会在这个函数里面使用安全cookie检测。但是要注意，它不能预防所有的安全漏洞。

原理：

#include "stdafx.h"

#include <string.h>

void Function(const char*);

 

int _tmain(int argc, _TCHAR* argv[])

{

         char pBuf[] = "aaaaaaaaaaaa";

         Function(pBuf);

         return 0;

}

 

void Function(const char* pBuf)

{

         char szBuf[10];

         strcpy(szBuf, pBuf);

}

void Function(const char* pBuf)

{

004017E0  push        ebp 

004017E1  mov         ebp,esp

004017E3  sub         esp,10h

004017E6  mov         eax,dword ptr [___security_cookie (403000h)]

004017EB  xor         eax,ebp

004017ED  mov         dword ptr [ebp-4],eax

      char szBuf[10];

      strcpy(szBuf, pBuf);

004017F0  mov         eax,dword ptr [ebp+8]

004017F3  push        eax 

004017F4  lea         ecx,[ebp-10h]

004017F7  push        ecx 

004017F8  call        strcpy (401010h)

004017FD  add         esp,8

}

00401800  mov         ecx,dword ptr [ebp-4]

00401803  xor         ecx,ebp

00401805  call        __security_check_cookie (401000h)

0040180A  mov         esp,ebp

0040180C  pop         ebp 

0040180D  ret

 

__security_check_cookie声明：

void __declspec(naked) __fastcall __security_check_cookie(UINT_PTR cookie)

 

00401000  cmp        ecx,dword ptr [___security_cookie (403000h)]

00401006  jne         failure (40100Ah)

00401008  rep ret         

0040100A  jmp        __report_gsfailure(4012BFh)

备注：

在以下情况中，编译器不会对易受攻击的参数提供安全保护：

a.函数不包含缓冲区。

b.如果未启用优化 ( /O 选项（优化代码）)。

c.函数具有可变参数列表 (...)。

d.函数标记为 naked (C++)。

e.函数的第一行语句包含内联程序集代码。

f.如果仅通过在缓冲区溢出事件中不太可能利用的方式使用参数。

 

2、/ RTCu

名称：未初始化变量使用检查

编译选项位置：C/C++ à Code Generation à Basic Runtime Checks

说明：这是一个动态的警告，编译的时候也会有警告，不过这个是动态的警告，更直观。

原理：

void Function(const char* pBuf)

{

         int a;

         int b;

         b = a;

}

         通过额外使用一个变量来跟踪某个变量是否初始化，下面的代码里面那个额外的跟踪变量放在[ebp-49h]里面。

0042D759  mov         byte ptr [ebp-49h],0

0042D75D  cmp         byte ptr [ebp-49h],0

0042D761  jne         Function+20h (42D770h)

0042D763  push        offset  (42D77Dh)

0042D768  call        @ILT+1935(__RTC_UninitUse) (42B794h)

0042D76D  add         esp,4

 

 

把代码稍微改一改：

void Function(const char* pBuf)

{

         int a;

         int b;

 

         if (pBuf)

         {

                   a = 100;

         }

 

         b = a;

}

很明显那个分支里面，给a赋值之前更改了那个跟踪变量的值（修改为1），这样那个警告框就不会再弹出来了。

0042D72D  cmp         dword ptr [pBuf],0

0042D731  je          Function+1Eh (42D73Eh)

0042D733  mov         byte ptr [ebp-49h],1

0042D737  mov         dword ptr [a],64h

0042D73E  cmp         byte ptr [ebp-49h],0

0042D742  jne         Function+31h (42D751h)

0042D744  push        offset  (42D75Eh)

0042D749  call        @ILT+1935(__RTC_UninitUse) (42B794h)

0042D74E  add         esp,4

 

3、/ RTCs

名称：堆栈检查

编译选项位置：C/C++ à Code Generation à Basic Runtime Checks

说明：该选项主要做三件事情：

(1)、Debug模式下把stack上的变量全部初始化为0xcc（使用这个值是因为0xcc对应汇编代码int 3，而且这个值很大容易引起程序员的注意），检查未初始化的问题；

(2)、检查数组越界；

(3)、检查ESP是否被破坏。

原理：

0x0D4 = 0x35 * 4

void Function(const char* pBuf)

{

         char szBuf[10];

         strcpy(szBuf, pBuf);

}

00411470  push        ebp 

00411471  mov         ebp,esp

00411473  sub         esp,0D4h

00411479  push        ebx 

0041147A  push        esi 

0041147B  push        edi 

0041147C  lea         edi,[ebp-0D4h]

00411482  mov         ecx,35h

00411487  mov         eax,0CCCCCCCCh

0041148C  rep stos    dword ptr es:[edi]

 

同样是上面的那一小段代码，在strcpy执行完之后，插入了如下一段代码：

0042D6B8  push        edx 

0042D6B9  mov         ecx,ebp

0042D6BB  push        eax 

0042D6BC  lea         edx,[ (42D6E8h)]

0042D6C2  call        @ILT+1480(@_RTC_CheckStackVars@8) (42B5CDh)

 

_RTC_CheckStackVars函数里面对数组的前后两端进行了对比看是否和0CCCCCCCCh相等，如果不相等会报错，用这种方法判断数组是否越界。

0042E140  push        ebp 

0042E141  mov         ebp,esp

0042E143  push        ecx 

0042E144  push        ebx 

0042E145  push        esi 

0042E146  push        edi 

0042E147  xor         edi,edi

0042E149  mov         esi,edx

0042E14B  cmp         dword ptr [esi],edi

0042E14D  mov         ebx,ecx

0042E14F  mov         dword ptr [i],edi

0042E152  jle         _RTC_CheckStackVars+58h (42E198h)

0042E154  mov         eax,dword ptr [esi+4]

0042E157  mov         ecx,dword ptr [eax+edi]

0042E15A  add         eax,edi

0042E15C  cmp         dword ptr [ecx+ebx-4],0CCCCCCCCh

0042E164  jne         _RTC_CheckStackVars+34h (42E174h)

0042E166  mov         edx,dword ptr [eax+4]

0042E169  add         edx,ecx

0042E16B  cmp         dword ptr [edx+ebx],0CCCCCCCCh

0042E172  je          _RTC_CheckStackVars+48h (42E188h)

0042E174  mov         eax,dword ptr [esi+4]

0042E177  mov         ecx,dword ptr [eax+edi+8]

0042E17B  mov         edx,dword ptr [ebp+4]

0042E17E  push        ecx 

0042E17F  push        edx 

0042E180  call        _RTC_StackFailure (42B82Ah)

0042E185  add         esp,8

0042E188  mov         eax,dword ptr [i]

0042E18B  add         eax,1

0042E18E  add         edi,0Ch

0042E191  cmp         eax,dword ptr [esi]

0042E193  mov         dword ptr [i],eax

0042E196  jl          _RTC_CheckStackVars+14h (42E154h)

0042E198  pop         edi 

0042E199  pop         esi 

0042E19A  pop         ebx 

0042E19B  mov         esp,ebp

0042E19D  pop         ebp 

0042E19E  ret             

 

         再看最后一小段代码，通过检测esp的值来判断堆栈是否平衡，首先把esp加上初始化时减出的值，然后和ebp对比，正常情况下应该是相等的（看看初始化的代码这很好理解）：

0042D6D6  add         esp,0D8h

0042D6DC  cmp         ebp,esp

0042D6DE  call        @ILT+3445(__RTC_CheckEsp) (42BD7Ah)

0042D6E3  mov         esp,ebp

0042D6E5  pop         ebp 

0042D6E6  ret

 

_RTC_CheckEsp极其简单就下面两句：

0042D9E0  jne         esperror (42D9E3h)

0042D9E2  ret

 

构造这样一个函数测试一下：

void Function(const char* pBuf)

{

         char szBuf[10];

         strcpy(szBuf, pBuf);

         __asm push ebx

}

 

 

4、/RTCc

名称：数据转换检查

编译选项位置：C/C++ à Code Generation à Smaller Type Check

说明：在数据赋值时，如果把一个较长的数据类型赋值给一个较小的数据类型，很有可能发生数据截断的问题，这个选项就是用来在发生数据截断时提示程序员的。（注意的是这里是动态检测的，只有确实会丢失数据时才报错）

原理：

void Func2()

{

         int nSrc = 100;

         char chDes = 'a';

         chDes = nSrc;

}

0042D679  mov         dword ptr [nSrc],64h

0042D680  mov         byte ptr [chDes],61h

0042D684  mov         ecx,dword ptr [nSrc]

0042D687  call        @ILT+4935(@_RTC_Check_4_to_1@4) (42C34Ch)

0042D68C  mov         byte ptr [chDes],al

 

         一堆这种函数，哈哈。

0042C338  jmp         _RTC_Check_2_to_1 (42D760h)

0042C33D  jmp         _RTC_Check_8_to_1 (42E520h)

0042C342  jmp         _RTC_Check_8_to_2 (42E560h)

0042C347  jmp         _RTC_Check_8_to_4 (42E790h)

0042C34C  jmp         _RTC_Check_4_to_1 (42DE60h)

0042C351  jmp         _RTC_Check_4_to_2 (42DF50h)

 

         我们还是来看看_RTC_Check_4_to_1:

0042DE60  push        ebp 

0042DE61  mov         ebp,esp

0042DE63  push        ebx 

0042DE64  mov         ebx,ecx

0042DE66  mov         eax,ebx

0042DE68  and         eax,0FFFFFF00h

0042DE6D  je          _RTC_Check_4_to_1+24h (42DE84h)

0042DE6F  cmp         eax,0FFFFFF00h

0042DE74  je          _RTC_Check_4_to_1+24h (42DE84h)

0042DE76  mov         eax,dword ptr [ebp+4]

0042DE79  push        1   

0042DE7B  push        eax 

0042DE7C  call        _RTC_Failure (42C1EEh)

0042DE81  add         esp,8

0042DE84  mov         al,bl

0042DE86  pop         ebx 

0042DE87  pop         ebp 

0042DE88  ret 

         逻辑还是很简单的，先判断int的高三个字节是不是都是0，如果都是0说明没超出范围，直接跳到末尾；再检查高三个字节是不是全是1，如果是说明是个一个负数也没超出范围，直接跳转到末尾，其他情况直接报错。

 

备注：

         如果你确信要这么做，确实要进行数据截断（譬如取数据的高位低位的），请按上面错误MSGBOX里面说明的做，写这个玩意的哥么想得很周到啊o(∩_∩)o 哈哈。