恶意样本对抗栈回溯检测机制的套路浅析

深入解析栈回溯技术:如何通过异常处理精准定位程序崩溃点 但是,光知道发生错误的位置还不够!分析函数A的栈:确定返回地址LR=0x08001d99,bit0清零后就是0x08001d98。在打印的信息中,LR=0x08000383,去掉bit0,就是:0x08000382。发现函数C太简单,它根本没有使用栈,函数C执行完,直接返回到LR。在异常处理函数中,可以打印出”发生错误瞬间”的所有寄存器。我们调试时,可以根据这些寄存器,知道发生错误的位置。发生错误时,异常函数如何处理?这是TestDebug函数。 阅读详情

最近发现有很多漏洞利用或木马程序样本会通过一些技术手段,达到使自动化检测系统或分析人员调试工具的栈回溯机制失效的目的。在本文中我将会简单分析和推测一下这类恶意样本都是通过哪些套路来实现和栈回溯机制的对抗。需要注意的是,文中讨论的堆栈都是代指线程在用户层的堆栈,并未涉及内核层的堆栈。

原文链接:xiaodaozhi.com/analysis/28…

0x0 准备

用这两天遇到的某个样本举例来说吧。那是个 RTF 文件格式的 CVE-2015-1641 漏洞利用样本。为调试其在 ShellCode 中创建子进程的行为,在 windbg 中给 ntdll!NtCreateUserProcess 函数下断点。命中断点之后,发现无法通过 kv 指令栈回溯来获取该线程当前时刻的调用栈序列,能获取到的栈帧只有当前所处的函数调用。而继续跟进该函数里所调用的任何一个函数中,发现调用栈仍旧只有一个栈帧。

Breakpoint 0 hit
eax=0900f130 ebx=00000000 ecx=00000044 edx=002e017c esi=05731400 edi=00000000
eip=76e65860 esp=0900edc8 ebp=0900f450 iopl=0 nv up ei pl nz na pe nc
cs=001bss=0023ds=0023es=0023fs=003bgs=0000 efl=00000206
ntdll!NtCreateUserProcess:
76e65860 b85d000000mov eax,5Dh
0:009> kv
ChildEBP RetAddrArgs to Child0900f450 00000000 00000000 00000000 057302e0 ntdll!NtCreateUserProcess (FPO: [11,0,0])
0:009> p
0:009> p
0:009> t
eax=0000005d ebx=00000000 ecx=00000044 edx=7ffe0300 esi=05731400 edi=00000000
eip=76e671b0 esp=0900edc4 ebp=0900f450 iopl=0 nv up ei pl nz na pe nc
cs=001bss=0023ds=0023es=0023fs=003bgs=0000 efl=00000206
ntdll!KiFastSystemCall:
76e671b0 8bd4mov edx,esp
0:009> kv
ChildEBP RetAddrArgs to Child0900f450 00000000 00000000 00000000 057302e0 ntdll!KiFastSystemCall (FPO: [0,0,0]) 

这个样本是怎么做到的呢?要理解这个问题,首先需要明确 windbg 或其他调试工具以及通常的检测系统都是怎么回溯栈的。要明白回溯栈的原理,那么就需要了解在 Windows 平台的 C/C++ 程序中调用函数时堆栈操作的逻辑。

0x1 原理

关于几种调用约定的区别和各自的特性,读者需自行了解。在这里不针对每种调用约定的压参方式做单独讨论,而是只关注调用时堆栈指针的改变。

根据规定,函数调用 CALL 指令可拆分为两步操作:

1.将调用者的下一条指令(EIP)的地址压栈2.跳转至将要调用的函数地址中(相对偏移或绝对地址)那么在执行到子函数首地址位置时,返回地址(即调用函数中调用位置下一条指令的地址)就已经存在于堆栈中了,并且是 ESP 指向地址的值。下面通过栈帧的概念,了解编译器在接下来对堆栈进行的操作。

简言之,栈帧就是利用 EBP(栈帧指针,请注意不是 ESP)寄存器访问栈内部局部变量、参数、函数返回地址等的手段。程序运行中,ESP 寄存器的值随时变化,访问栈中函数的局部变量、参数时,若以 ESP 值为基准编写程序会十分困难,并且也很难使 CPU 引用到正确的地址。

所以,调用某函数时,先要把用作基准点(函数起始地址)的 ESP 值保存到 EBP,并维持在函数内部。这样,无论 ESP 的值如何变化,以 EBP 的值为基准能够安全访问到相关函数的局部变量、参数、返回地址,这就是 EBP 寄存器作为栈帧指针的作用。

为了更直观地了解,下面根据一个 Demo 来进行说明。编译后在 helloworld() 函数的调用处下断点跟进执行,到 helloworld() 函数内的首地址位置。此时根据调试器的反汇编窗口观察 C 代码和汇编代码的对应。

void helloworld()
{
> 003A1000pushebp003A1001mov ebp,esp003A1003sub esp,40h003A1006pushebx003A1007pushesi003A1008pushediprintf("hello world!\n");003A1009push3E91C8h003A100Ecallprintf (03A1180h)003A1013add esp,4
}003A1016pop edi003A1017pop esi003A1018pop ebx003A1019mov esp,ebp003A101Bpop ebp003A101Cret 

根据上面的对应关系,提取出栈帧的结构。

push ebp; 先将属于调用函数的 EBP 值压栈,执行后 ESP 指向地址存储该 EBP 的值
movebp, esp ; 将 ESP 的值赋给 EBP 寄存器,执行后 EBP 指向地址存储属于调用函数的 EBP 的值

... ; 函数体。EBP 始终保持不变

movesp, ebp ; 将 EBP 的值赋给 ESP 寄存器,执行后 ESP 指向地址存储属于调用函数的 EBP 的值
popebp; 弹出保存在栈中的调用函数的 EBP 的并赋给 EBP 寄存器
ret ; 弹出保存在栈中的调用函数中调用位置的下一条指令的地址给 EIP 寄存器 

根据以上的函数调用逻辑容易知道,在函数体代码的任何位置,EBP 寄存器指向的地址始终存储属于它的调用函数的 EBP 的值,根据这个原理可逐级向调用函数、调用函数的调用函数进行遍历,向上回溯。

这样有什么用呢?根据上面栈帧结构和 CALL 指令的操作可知,在将属于调用函数的 EBP 的值压栈之前,ESP 指向的地址存储的是由 CALL 指令压栈的调用函数中调用位置的下一条指令的地址(原 EIP)。那么根据这个逻辑,可以通过上面回溯的各级 EBP 的值,并根据 EBP+sizeof(ULONG_PTR) 获取到函数调用者函数体中的地址(当前函数的返回地址)。

有了每级调用的函数体中的地址,那么获取该函数的详细信息及函数符号就变得容易了。

0x2 推断

根据前面在 NtCreateUserProcess 断点处的寄存器状态中 EBP 和 ESP 的值,对比该线程 TEB 的 StackBase 和 StackLimit 的值,会发现 EBP 和 ESP 的值均不在该线程堆栈范围之中,也就是说:要么是 TEB 中的堆栈范围被修改了,要么是当前栈帧所处的堆栈被移动到自己分配的内存里了,也就是说,栈被“截断”并“移动”了。

esp=0900edc8 ebp=0900f450
...
0:009> !teb
TEB at 7ffd5000ExceptionList:0900f440StackBase:11520000StackLimit: 11512000SubSystemTib: 00000000FiberData:00001e00ArbitraryUserPointer: 00000000Self: 7ffd5000EnvironmentPointer: 00000000ClientId: 00000118 . 00000bf4RpcHandle:00000000Tls Storage:0572b098PEB Address:7ffd7000LastErrorValue: 0LastStatusValue:c0000024Count Owned Locks:0HardErrorMode:0 

线程 TEB 中的成员 StackBase 域和 StackLimit 域,作为当前线程栈的范围存在。一般情况,在线程初始化时 StackBase 被赋初值之后将不再改变,而 StackLimit 作为动态的成员域,根据当前线程函数调用层级的递进,以固定的长度(如1KB)向下扩展。根据规定,所属每个函数调用的栈帧区域 EBP 和 ESP 寄存器所划定的空间,应该始终在当前线程的 StackLimit 到 StackBase 的范围之间存在。

先推测该样本篡改 TEB 里 StackBase 和 StackLimit 的值。那么直接编写动态库,在 WINWORD.exe 进程启动时进行注入,记录所有已存在和将创建的线程的 TEB 里 StackBase 和 StackLimit 的值,并以 TID 作为索引。这时候样本尚未加载并执行 ShellCode,所以这两个值在这时候是纯净的。后续在调用 NtCreateUserProcess 时取到之前记录值的列表,根据该线程的 TID 取到该线程对应的两个成员的初始值,再对比此时 TEB 中这两个成员的值,发现并未发生改变。

判断失误。

突然注意到,多次执行这个恶意样本并同样在 NtCreateUserProcess 命中断点时,这时候的 ESP 和 EBP 的值始终是 0x0900XXXX 左右的地址,而 StackBase 和 StackLimit 的值是无规律的地址数值。从而可以断定在该样本的 ShellCode 中,并非是修改 StackBase 和 StackLimit 的值使堆栈范围发生改变,而是其分配了以 0x0900XXXX 左右的内存地址作为基地址的内存空间,并将以当前 ESP 为基地址的一段栈内存片段的数据拷贝到了新分配的内存空间的高内存区域中,修改 ESP 和 EBP 寄存器的值为新缓冲区中对应的两个寄存器指针应该指向的位置,相当于对堆栈片段进行了平移。

可能说到这里,有的读者还没明白我表述的意思,那么下面以示意图作为解释。

时间紧急,图画得比较糙,将就着看吧。图的左侧是线程真正的栈的内存空间,右侧是 ShellCode 分配的新的缓冲区。平移时首先根据 ESP 和 EBP 寄存器指向的内存地址定位需要拷贝的数据范围。在这里可能会向 EBP 指向的地址上面多拷贝一部分数据,以将参数和返回地址等数据一并拷贝到新分配的缓冲区中。拷贝完成之后,将 ESP 和 EBP 寄存器指向新缓冲区中对应的位置。

这时开始程序对堆栈的操作将会在新分配的内存缓冲区中进行。在 ShellCode 代码执行即将完成时,应会再将 ESP 和 EBP 的值还原回原来真正栈里的地址,避免弹栈时进入上面未知的内存区域导致程序异常。

0x3 验证

为了验证这个判断是否有效和真实,接下来需要实现上面猜想中描述的操作,看看调试器或检测系统是否能够成功地进行栈回溯。

下面的代码片段实现了分配新的缓冲区,并拷贝从 ESP 指针指向位置到 调用函数的 EBP 在栈中存储位置加上调用函数的返回地址的存储位置这个范围的栈片段,到新分配的缓冲区中最高位置区域,为低内存预留了 0x100000 字节的空间。

void simplesubfunc() {printf("a simple sub function!\n");
}

void buildmystack() {ULONG_PTR stackbase, stacklimit;ULONG_PTR p_ebp, pp_ebp = 0, p_esp, delta;ULONG_PTR p_new_esp = 0, pp_delta;PVOID p_new_stack = NULL;__asm pushad;__asm pushfd;__asm push 0;__asm push 0;__asm push 0;__asm push 0;// 获取栈的基本信息__asm mov eax,fs:[0x04] ; 取 StackBase 域的值__asm mov stackbase,eax ;__asm mov ebx,fs:[0x08] ; 取 StackLimit 域的值__asm mov stacklimit, ebx ;__asm mov p_ebp,ebp ;__asm mov p_esp,esp ;stackbase -= 2 * sizeof(ULONG_PTR);delta = p_ebp - p_esp;// 获取调用者的 EBP 在栈中的位置if (p_esp > stacklimit &&p_esp < stackbase&&p_ebp > stacklimit &&p_ebp < stackbase) {pp_ebp = *(ULONG_PTR *)p_ebp;}// 搭建新的栈空间并移动栈指针if (pp_ebp > stacklimit &&pp_ebp < stackbase) {pp_delta = pp_ebp - p_esp;p_new_stack = malloc(pp_delta + 0x100000 + 2 * sizeof(ULONG_PTR));p_new_esp = (ULONG_PTR)p_new_stack + 0x100000;memcpy((PVOID)p_new_esp, (PVOID)p_esp, pp_delta + 2 * sizeof(ULONG_PTR));__asm mov eax, p_new_esp;__asm mov esp, eax;__asm mov ebx, eax;__asm add eax, delta; 计算当前 ebp 应指向的位置__asm mov ebp, eax;__asm add ebx, pp_delta ;__asm mov [eax], ebx; 修正调用者 ebp 在栈中位置}// 执行正式函数体代码simplesubfunc();// 恢复栈指针到原栈中的位置并释放内存if (p_new_stack) {__asm mov esp, p_esp;__asm mov ebp, p_ebp;__asm mov eax, ebp;__asm mov ebx, pp_ebp ;__asm mov [eax], ebx;free(p_new_stack);}__asm popeax;__asm popeax;__asm popeax;__asm popeax;__asm popfd;__asm popad;
}

void helloworld() {buildmystack();printf("hello world!\n");
}

int main(int argc, char* argv[]) {helloworld();return 0;
} 

在函数 simplesubfunc() 处下断点,用 windbg 启动执行,命中断点后通过 kv 指令观察调用栈,发现调用序列中已经不能回溯到上级各层的调用了。

(5644.3e20): Break instruction exception - code 80000003 (first chance)
eax=016e40d0 ebx=012fe000 ecx=00000000 edx=000000e4 esi=013b1d40 edi=013b1d40
eip=013b1129 esp=016e3fec ebp=016e4038 iopl=0 nv up ei pl nz na po nc
cs=0023ss=002bds=002bes=002bfs=0053gs=002b efl=00000202
*** WARNING: Unable to verify checksum for HookDemo.exe
HookDemo!simplesubfunc+0x9:
013b1129 ccint 3
0:000> kv
ChildEBP RetAddrArgs to Child016e4038 00000000 00000206 013b1d40 013b1d40 HookDemo!simplesubfunc+0x9 (FPO: [Non-Fpo])
0:000> !teb
TEB at 01027000ExceptionList:012ffdc8StackBase:01300000StackLimit: 012fe000SubSystemTib: 00000000FiberData:00001e00ArbitraryUserPointer: 00000000Self: 01027000EnvironmentPointer: 00000000ClientId: 00005644 . 00003e20RpcHandle:00000000Tls Storage:0102702cPEB Address:01024000LastErrorValue: 0LastStatusValue:c0000139Count Owned Locks:0HardErrorMode:0 

对比 TEB 中 StackBase 和 StackLimit 域的值和命中断点时 CPU 寄存器状态中 ESP 和 EBP 指向的值,发现 ESP 和 EBP 已经不在线程栈的范围中了。但是程序的向下执行并没有受到任何影响:

a simple sub function!
hello world!
请按任意键继续. . . 

这就说明,这个判断至少到目前为止是正确的。

0x4 应对

栈回溯时以 TEB 的成员 StackBase 和 StackLimit 的值作为限制范围,而栈顶和栈底指针一开始就不在范围之中,那么栈回溯循环过程会在遍历第一个栈帧时就跳出遍历。

那么可不可以在栈回溯的时候,去掉通过这两个成员的值进行的限制呢?

这样考虑和推测,当然要想到任何一种可能出现的不正常的情况。ShellCode 中构造的新的栈片段中,最上级调用的栈区域可能并未赋给正确的值,包括原 EBP 或原 EIP 的值,比如这两个域在 ShellCode 代码中被临时地给简单地置为 0x00000000 了。那么放开 StackBase 和 StackLimit 的限制而直接地通过调用序列向上回溯,如果未处理好的话,很可能会在检测模块中发生非法访问等异常情况。

那么如果对原 EBP 或原 EIP 判断得好的话,比如对内存地址的有效性进行谨慎的判断,那么放开限制是否就可以了?

根据前面表达过的意思,你不能清楚地知道在 ShellCode 中对原 EBP 或原 EIP 的值改成什么样了,如果是非法的地址还算是比较好判断的。但是如果是正常的属于堆栈地址呢?这里的“正常”的意思是,原 EBP 或原 EIP 的值确实是“原 EBP 或原 EIP 的值”,但不是应该出现在这里的,而是诸如应该出现在下级调用中的“原 EBP 或原 EIP 的值”这样的。如此一来,将会导致无限循环遍历等问题。

要是样本的 ShellCode 更进一步,窃取其他线程的堆栈部分数据覆盖到自己构造的堆栈的高内存部分,那么在调试器或检测系统在栈回溯时,遍历到上层的调用项,被诱导进入另一个线程的调用栈序列中,那么获取到的数据就可能已经不是当前线程的数据了。

0x5 说明

本文中的代码片段在任意版本的 Visual Studio 或 Visual C++ 中均可编译通过,感兴趣的可自行测试。未贴出完整代码内容,需自行补充头文件包含等。另外上面部分代码在编译的时候会报出 warning C4731 的警告,提示栈帧指针寄存器 ebp 被内联汇编代码修改。直接无视即可。c恶意样本对抗栈回溯检测机制的套路浅析v

< img src="https://hnxx.oss-cn-shanghai.aliyuncs.com/official/1678694737820.png?t=0.6334725112165747" />

实战吾爱论坛160个crackme——(1)堆栈回溯法 已经有人拿这160个crackme程序练手,并且写详细的破解帖子了 完全没别人写得好,权当给自己看,积累经验0.0 此程序是输入注册码失败后有弹窗的,试试堆栈回溯法 运行程序随便输入用户名注册码,待错误提示窗口弹出后不要点确定!!! F12暂停程序 然后F12,暂停程序,再点K  查看堆栈 很明显在程序领空有一个错误弹窗提示! 显示函数过程 此后来到了函数调 阅读详情

相关推荐

思路:如何跳过CreateProcess调用底层创建进程函数

论坛近日有人在问如何跳过CreateProcess调用底层的NtCreateProcess。 我想说的是不能单纯看这个问题,首先不同NT内核版本CreateProcess进入 底层的路径是不同的: 2k ->NtCreateProcess xp ->NtCreateProcessEx vista/win7/2008 ->NtCreateUserProcess 拿wi

享受开发,颠倒银河 6413

Unwind 栈回溯详解

1. 历史背景 1.1 frame pointers 在调试的时候经常需要进行堆栈回溯。最简单的方式是使用一个独立的寄存器(ebp)来保存每层函数调用的堆栈栈顶(frame pointer): pushl%ebp movl%esp,%ebp ... popl%ebp ret x86_64的frame point模式 arm64的frame point模式 这种方式在堆栈回溯时非常方便快捷。但是这种方法也有自己的不足: 需要一个专门寄存器ebp来保存frame poniter。 保存e

pwl999的博客 2万+

【OpenCV】背景替换(opencv、python),照片、证件照的背景替换(抠图)

目录步骤:导入库1、读入将要抠图的图片2、create一个带颜色域的mask3、通过mask使得原图只显示汽车,即抠出所需要的部分4、将要替换掉的图像resize或裁剪到和上述图片一样的大小5、将该图片预留出将要重叠上的部分,即将mask部分改为(0,0,0)6、通过和运算使得两部分图片mask部分替换7、最后保存图片 步骤: 导入库 import matplotlib.pyplot as plt import matplotlib.image as mpimg import numpy as np imp

weixin_41729258的博客 4363

2014过360栈回溯

 360为了XX黑加白出的栈回溯技术 当然现在还会杀DLL 不过 断链动态解密一下应该还是没有问题的 博客新开,先扔出来一点儿 .486p .model flat,stdcall option casemap:none assume fs:nothing include windows.inc include user32.inc includelib us

落笔飞花笑百生的博客 733

k8s架构、工作流程、集群组件详解

Kubernetes(简称K8s,是因为 k 和 s 之间有八个字符)是一个开源的容器编排平台,用于管理云平台中多个主机上的容器化应用程序。它提供了一种机制,用于自动化部署、扩展和管理容器化应用程序的集群。Kubernetes的目标是让部署容器化应用程序变得简单高效。它提供了应用程序部署、规划、更新和维护的基本机制,同时具备强大的扩展性和可靠性。Kubernetes采用主从设备模型(Master-Slave架构),其中Master节点负责核心的调度、管理和运维任务,而Slave节点负责运行应用程序的容器。

qq_51545656的博客 4383

避坑指南:解决‘Logical volume contains a filesystem in use’错误,顺利完成LVM根目录扩容

本文详细解析了Linux系统中LVM根目录扩容时遇到的‘Logical volume contains a filesystem in use’错误,提供了从错误诊断到实战解决方案的完整指南。通过动态扩容技术、单用户模式操作和LVM快照等方案,帮助管理员顺利完成根目录扩容,避免数据丢失和系统崩溃。

weixin_28702105的博客 229

linux 中ifconfig命令 结果解释

一 般来说,直接输入ifconfig就会列出目前已被启动的卡,不论这个卡是否有设置IP,都会被显示出来。而如果是输入ifconfig eth0,则会显示出这个接口的相关数据,而不管该接口是否启动。所以,如果你想要知道某个网卡的Hardware Address,直接输入“ifconfig"网络接口代号"”即可。至于上述代码中出现的各项数据是这样的(数据排列由上而下、由左而右)。 -------...

weixin_30415801的博客 331

opencv去除印章痕迹

今天看到一个很有意思的程序,就是去除票据上的红色印章,觉得很有意思,就把它抄过来记录一下,同时自己也开了一下脑洞。 原来的程序来自:https://www.cnblogs.com/skyfsm/p/7638301.html 可以看到图像效果很不错,下面是源码实现: #include &lt;iostream&gt; #include &lt;opencv2/imgproc/imgpro...

zeng_haoyu的博客 7967

【数据结构】c语言基于堆栈实现回溯法自动走迷宫

迷宫的坐标用二维数组表示,此外还需要一个当前坐标缓冲区,表示当前位置,我使用的是b[3]数组,第三个空间用来表示这个格子被走了几次 #include "stdafx.h" #include<iostream> #include<windows.h> using namespace std; #define MAXSIZE 100 #define ERROR 0 #d...

haohulala的博客 3034

搭建 Newman + Postman + Git + Jenkins 环境教程

一步步搭建 Newman、Postman、Git 和 Jenkins 的环境。这些工具常用来做 API 测试和 CI/CD 自动化,尤其是 Postman 和 Newman 搭配 Git 和 Jenkins,能实现 API 集合的版本管理和自动测试。

Criss@陈磊 436

LDRA Testbed软件静态分析_常见问题及处理

通过前面的几篇文章,LDRA Testbed软件静态分析的内容基本讲解完了,本篇文章将针对使用Testbed进行软件静态分析的常见问题进行介绍。 到此为止,LDRA Testbed软件静态分析的内容已经全部讲完,如果有问题,欢迎私信提问(不经常登录,回复可能不及时,见谅)。下一篇文章将开始讲解如何使用Testbed进行单元测试。

文章主要涉及嵌入式软件开发、测试、项目管理等,欢迎交流,共同进步。 2595

游戏检测的对抗与防护艺术

文章目录前言通过send函数定位吃药call变量检测构造检测程序处理变量检测call的检测原理查找检测变量变量检测处理堆栈检测堆栈检测原理 基于本地堆栈检测原理 基于服务器处理一层堆栈检测处理多层堆栈检测CRC检测什么是CRC检测构造CRC检测处理CRC检测数据检测数据检测原理构造检测程序数据检测处理总结 前言 从游戏外挂的利用角度来看,外挂的行为无非有如下两种: 修改游戏的关键数据和代码:属于...

鬼手的博客 8451

解密大文件:Python中的AES-128-CBC解密实践

本文介绍了使用Python的pyca/cryptography库处理AES-128-CBC加密大文件的方法。详细讲解了密钥/IV设置、加密/解密流程及PKCS7填充操作,建议采用分块处理(如2GB)优化性能。同时强调了CBC模式的数据完整性风险,推荐考虑AES-GCM等认证加密模式,并指出填充顺序和块大小选择对处理效果的影响。通过具体代码示例,展示了如何安全高效地加密解密数百GB文件。

2501_90323865的博客 127

win10 x64逆向某游戏线程检测(二)

x64逆向某游戏线程检测(二)

weixin_41725706的博客 958

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

【游戏逆向】FPS游戏自瞄透视之堆栈分析

如果不拿血量当突破口,先去扫描坐标 ,由于游戏没有显示坐标,未知值去扫,会有很多结果,很难筛选,最后会很有很多类似的结果,确定用哪一个也是一件比较累的事情。追就可以了,我们现在所在的位置相当于调用的较内层,而通过这样的方法我们就直接来到了程序最先用该数值的地方,绕过了中间追寄存器的过程。我们想做FPS游戏的自瞄透视功能,最基础的数据就是周围所有目标的坐标值只有确定了所有目标的位置,我们才能用算法写出自瞄和透视。有的我们可以先去尝试 堆栈中是否出现过 该数值,如果出现过,我们直接到最先出现的位置继续。

douluo998的博客 1511

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

LyScript 实现对内存堆栈扫描

LyScript插件提供了三种基本的堆栈操作方法:push_stack用于入栈,pop_stack用于出栈,peek_stack用于检查指定堆栈位置处的内存参数。其中,peek_stack函数可以输出堆栈中指定位置的十进制有符号长整数。为了进行堆栈扫描或堆栈地址的检测,我们需要进行有符号与无符号数之间的转换操作。

微软技术分享 1万+

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

x86对抗栈回溯检测

1.原理函数调用 CALL 指令可拆分为两步操作: 1)、将调用者的下一条指令(EIP)的地址压栈 2)、跳转至将要调用的函数地址中(相对偏移或绝对地址) 那么在执行到子函数首地址位置时,返回地址(即调用函数中调用位置下一条指令的地址)就已经存在于堆栈中了,并且是 ESP 指向地址的值。下面通过栈帧的概念,了解编译器在接下来对堆栈进行的操作。 简言之,栈帧就是利用 EBP(栈帧指针,请注意不是 ...

liuhaidon1992的博客 1171

「C/C++」C/C++调试篇 之 堆栈回溯介绍

堆栈回溯是程序开发和调试中不可或缺的技术。通过深入理解堆栈回溯的概念、原理、实现方法以及实战应用,开发者可以更有效地定位和解决程序中的问题。同时,掌握这些技能也有助于提升代码质量和开发效率。希望本文能为读者在堆栈回溯的探索之路上提供一些有用的指导和帮助。

何曾参静谧的博客 1670

嵌入式系统C编程之堆栈回溯

  前言      在嵌入式系统C语言开发调试过程中,常会遇到各类异常情况。一般可按需添加打印信息,以便观察程序执行流或变量值是否异常。然而,打印操作会占用CPU时间,而且代码中添加过多打印信息时会显得很凌乱。此外,即使出错打印已非常详尽,但仍难以完全预防和处理段违例(Segment Violation)等错误。在没有外部调试器(如gdb server)可用或无法现场调试的情况下,若程序能在突...

weixin_34406796的博客 469

记一次“栈”回溯定位hardfault

【代码】记一次“栈”回溯定位hardfault。

tracy_chao的博客 1000

深入分析Win7的对象引用跟踪机制

深入分析Win7的对象引用跟踪机制 2010年09月12日 19:34 Win7的内核新增了一系列带有Tag参数的对象增加引用(Refrence)/减少引用(Derefrence)函数,更易于找出对象使用中的“泄漏”(即Refrence和Derefrence次数不匹配)。 在Win7中,以下所有不带Tag的函数均使用一个默认的Tag("tlfD")直接调用带Tag参数

多媒体编程、网络编程、系统编程、网络安全编程、驱动编程 1606

软件调试栈回溯实验

软件调试栈回溯实验实验要求要求1要求2实验原理实验过程编写程序调试运行利用当前的栈基址和调试信息得到函数的调用关系,实现类似bt的显示结果。实现frame切换后利用print显示变量的效果附录 实验要求 编写一个C/C++程序例子,至少有三层的函数调用存在。通过GDB对编写的软件进行调试,需在第三层函数内设置断点使得程序暂停,然后进行如下的分析: 要求1 如何利用当前的栈基址和调试信息得到函数的调用关系,实现类似bt的显示结果,需进行解释说明; 要求2 在栈帧进行切换后,例如切换到第二层的函数上,分析如何根

rain699的博客 649

调试绝招—栈回溯

* context + 16*4 结构体类型指针加1,相当于加了整个结构体 */找到汇编里面的 HardFault_Handler 函数,注销原来的代码,添加一下代码。然后在stm32xx_it.c中包覆盖HardFault_Handler这个函数。串口打印找到PC寄存器的地址 查看反汇编。保存在哪儿 栈。

weixin_64449928的博客 1281

简单的栈回溯 & 简单的栈回溯欺骗 -- 简单分析

原文地址在: http://hi.baidu.com/iceboy_/item/924f349e10c9fbcfb62531f7# 对于我这样的新手好长时间才看懂,本文就那篇文章中的程序来简单分析一下。程序如下: #include #include #include #pragma warning(disable: 4311 4312 4313) int fake_ebp

astrotycoon 1万+
上一篇: 反射型 XSS 疑问及延伸(CSRF)
下一篇: 多线程编程进阶——Java类库中的锁
gool奇米
博客等级 码龄4年 16粉丝 149原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值