XLYcmy的博客

为防止非法用户登录系统，网页首先会验证登录用户是否为合法用户，合法用户登录后可以选择特定的数据集训练任务适配的模型，然后可以选择相关文件传输到后端进行漏洞检测，后端调用训练模型对前端数据进行检测，检测各个文件中是否危险函数并判断危险函数是否存在被黑客利用的风险。用户在登录网站后选择需要进行检测的文件传输给后端进行漏洞检测，后端检测完所有文件后会将检测结果发送回前端进行直观的展示。为了对本项目中设计的漏洞检测模型检测结果进行直观展示，本项目组制作了相关的网页进行项目成果展示。系统：Windows7以上环境。

对于固件的漏洞检测，可以从上传的文件中选择部分进行漏洞和危险函数的检测，并将结果返回。返回结果为四元组<序列号、危险函数、地址、可利用性>，其中序列号代表了该文件的编号，危险函数给出函数名表示可被利用的函数，地址指出了该危险函数的存在的位置，可利用性是一个2值的变量，表示是否能够被攻击者利用， 0表示不能被利用，1表示可被利用。图4-3 漏洞检测返回文件结果。

他们的区别是，GET是把参数数据队列加到提交表单的ACTION属性所指的URL中，值和表单内各个字段一一对应，在URL中可以看到。在漏洞检测部分，本项目采用了Flask框架进行设计，Flask是一个用Python编写的Web应用程序轻型框架，相较于Django更加容易掌握也更加灵活，并且支持MVC模型。由于本项目的不需要繁杂的操作，只需要简单的调用和询问检测结果即可，所以这里选择更容易上手开发的Flask。本项目基于Flask框架进行设计，采用Post请求的方式，即前端利用Post请求将数据发送给了后端。

可以采用的现存的云端服务器数据管理，例如华为云、阿里云、腾讯云等。它提供了一系列的云计算产品和服务，包括云服务器、云存储、云数据库、云安全、人工智能、大数据分析等。与亚马逊云、阿里云、腾讯云等其他公有云厂商一样， 华为云也提供了灵活的价格和计费模型，可以帮助用户根据自己的需求和预算来选择最适合的产品和服务。华为云的主要业务有云服务器、云存储、云数据库、云安全、人工智能、大数据分析、云网络、云桌面、CDN、开发者服务等。云存储：提供文件存储、对象存储、块存储等不同的存储服务，帮助用户存储和管理大量的数据。

这里注意串口和调试接口的区别：能用串口下载程序的单片机，其内部一般都有boot程序的支持，boot程序将要下载的数据通过串口接收到单片机之后调用boot中的flash编程程序，写到内部的flash中；固件分析工具主要包括Binwalk是通过固件文件头来分析文件和文件系统，file是用来检测是否是有效的文件和文件类型，hexdump是16进制导出工具，strings是跟hexdump类似但是可以以可读的形式展示，lzma可以解压LZMA文件。在网络上找不到目标固件资源的情况下，可以选择从硬件下手，提取固件。

本方案的目的是能够解决物联网漏洞挖掘的问题，通过固件提取与结合神经网络检测，使之能够检测出固件存在的漏洞，通过对但价格和跨架构的组合测试和选择，设计任务适配的模型跨架构高效的漏洞检测系统，能够对物联网设备的安全问题进行有效的获取，设计思路如图4-2所示。总共可分为四个方面，即物联网设备固件的提取，固件上传，漏洞检测，结果展示将在4.2节详细介绍。假设现存大量物联网设备，针对数据集来源于大量不同的所属构架，且其分布稳定的数据集，本项目需检测大量设备的固件是否存在漏洞。图4-1 漏洞挖掘系统模型。

本章，本项目对总体方案的中心思想进行了介绍，然后对框架进行了概述。接着，对数据集的构建进行了描述；针对跨架构算法进行了详细的介绍并针对跨架构算法存在的问题进行了简化网络结构本身、改变共享参数的程度等性能提升；针对单架构测试方面，针对大量不同架构但分布相对稳定的数据集，通过测试算法效率精度，得到适应该数据集的特定跨架构高效物联网漏洞检测检测方法，在保证精度的同时大大提升检测效率。后续在该方案的前提下，设计能够应用该方案的系统，也是本项目的接下来工作的重点。

同跨架构改进部分，与各单架构下的方案进行了对比。采用单架构检测算法，这里将所有单架构方案于跨架构的方案视作同等地位，其AUC值相比于传统跨架构算法有几乎不变，略有波动，平均匹配时间视架构下方法决定，而改进后跨架构方案基本在所有架构下平均匹配时间都有较好的提升，这说明其效率和性能，能得到大幅的提升。由于本项目将跨架构改进方案融入其中，所以平均匹配时间低于或等于跨架构提升的方案，能够进一步得到适用于大量特定不同架构、分布稳定的数据集的高效物联网漏洞挖掘，提高系统的检测能力。

可以看到改进后的AUC值有一定程度的下降，基本不变，但是平均匹配时间有了大幅的提高，这说明其检测准确率有略微下降，但几乎不影响，但效率和性能有了大幅提升，针对大量不同架构的检测来说，在一定程度上提高系统的检测能力。在图平均尺寸较大、大数据库、低时延搜索，具有这些特征的应用场景下，使用的改进的方案，可以实现较好的效率、精度权衡。检测结果如表3-2和表3-3所示。表3-2展示了检测的平均AUC，AUC（是指ROC曲线下面积，用于度量二分类模型的性能表现，AUC越接近于1，意味着模型预测的准确性越高。

可以看到ARM、MIPS架构下固件集数量多，其他架构固件数据集较少，这也导致了后续本项目在进行训练的测试的时候，ARM、MIPS架构下的检测率和准确度较高，更贴合实际的检测结果，而其他架构下的检测率相对较低，和实际结果间存在一定的误差，在后续实验中，本项目也需要不断扩充数据集来提高检测的结果和精度。本项目对物联网安全数据集包含的1000个不同指令集架构下的物联网设备二进制固件，使用IDA-Python提取出固件架构信息对数据集进行分类，得到表3-1。表3-1 固件构架分类信息。

SAINT通过跟踪来自敏感来源的信息流，如设备状态和用户信息到外部接收器，在物联网应用程序中找到敏感数据流，如互联网连接和短信。其对现有的三个主要物联网平台进行了研究，以确定物联网特定的物联网源和汇以及它们的传感器-计算-执行器程序结构。在这一点上，识别特定于物联网的事件/操作和异步执行的事件，以及特定于平台的挑战，如通过反射的调用和状态变量的使用。SAINT使用红外线来进行高效的静态分析，跟踪从敏感源到汇的信息流。将平台特定的物联网源代码转换为中间表示IR，识别敏感源和汇，执行静态分析以识别敏感数据流。

通过改变应用程序中的数据流，IoTFuzzer 跳过了协议分析。即在拿到一个bin时，最先将其转化为IR语言，并且对每个函数单独进行分析，分析的内容有使用内存地址描述变量，推断函数所使用的参数数量和类型，生成每个函数的DU链和UD链。接下来，需要进行指针别名的搜索和匹配，以及数据结构相似度的匹配，检查间接调用还原CFG，最后再自底向下地生成数据流。因此在本文中，提出了一种静态二进制分析方法DTaint，主要用于检测taint-style漏洞即输入数据通过某种不安全的路径到达了陷入点，例如缓冲区溢出等。

在ARM构架下重点介绍Firmalice2015，主要技术包含静态分析，单独分析，黑盒二进制，基于符号执行和程序切片。提出了固件恶意，一个二进制分析框架，以支持在嵌入式设备上运行的固件的分析。此外，该方法利用了一种新的身份验证绕过缺陷模型，基于攻击者确定执行特权操作所需输入的能力，能够更加准确的进行分析和检测。一个通用模型来描述二进制固件中的后门，并结合动态符号执行来识别它们。先使用静态分析提取数据依赖图，然后提取从入口点到手动确定的特权操作位置的程序切片，应用符号执行引擎找到可能成功的路径。

Glorot初始化方法，针对梯度不稳定问题，Glorot 提出希望信号流动过程既不消失也不饱和，使得每层的输出方差等于其输入的方差，除非每层的输入和输出神经元数量相等，否则无法很好的保证。向量通过欧式距离来衡量，当数据库较大时，用户要进行测试时，需要在整个欧式空间内搜索，搜索空间较大，所需时长较长，但其精确度能高，适用于对实时性要求不高的系统。在网络模型进行训练时，参数初始化非常重要，也决定了最后能否取得最优结果的，选取点不合适的情况，算法将假性收敛到局部最优，而无法获得全局最优解。

BN层就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的，通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为1的标准正态分布，其实就是把越来越偏的分布强制拉回比较标准的分布，这样使得激活输入值落在非线性函数对输入比较敏感的区域，网络的输出就不会很大，可以得到比较大的梯度，避免梯度消失问题产生，而且梯度变大意味着学习收敛速度快，能大大加快训练速度。过拟合问题，根本的原因则是特征维度过多，导致拟合的函数完美的经过训练集，但是对新数据的预测结果则较差。

再计算训练集中的函数向量与测试集中的函数向量之间的COS值，若其COS值与top n的COS值相等，既跟训练集漏洞点函数最相似的n个函数包含了测试集中的函数，就认为这个测试集函数被正确识别。对于训练集中的函数向量，计算其与除自身外的所有函数向量之间的COS值，并提取top n，既得到跟训练集漏洞点函数最相似的n个函数，COS值越大，向量夹角越小，函数越相似。为0向量，每个节点都要经过T轮的迭代，在每一轮迭代中，对于每个节点的向量，先计算它相邻节点的上一轮的向量之和，再通过公式。))生成这一轮的向量。

提取完原始特征之后，进入模型训练模块，在这个模块中，训练一个模型，把原始特征表征为一个64维的向量。Siamese架构中，以两个ACFG为输入，并输出它们的相似性，通过构造相同和不同的ACFG对，并提供ground truth，最大化两个不同函数的向量之间的距离，最小化相同函数的向量之间的距离，不停地修正参数，最终使得Structure2vec网络能很好地把ACFG表示为64维向量，即相似的函数的向量距离尽可能近，不相似的函数的向量距离尽可能远。在CFG的基础上，继续提取基本块的属性，构成ACFG。

IDA Python是IDA的一款插件，将python和IDA结合起来，利用python语言就可以更加自动化的分析程序，也可以通过插件来调用IDA对固件进行分析和检测。固件检测重点指检测平台采用模板式方式对固件特定内容进行自动化、高效率匹配检测，如元信息提取、指定文件分析、开源或已知组件漏洞关联检测等功能，其特点是“呆板式”、高自动化、高效率检测，换而言之，平台“模板”以外、固件“特定”内容以外的固件无法检测，当然没有绝对的固件“检测”，很多厂商提供的固件检测产品定会附带部分固件分析功能，侧重点不同而已。

接着对代码进行词法分析和语法分析，将分析的结果构建成 AST，对语法树节点进行编码作为代码的特征。基于图的表征：图是一种比树更为抽象复杂的表示形式，图的顶点之间是多对多的关系，并且不具有树结构中明确的父子节点层次划分.因此，基于图的表征形式能够反映代码中更丰富的语法和语义特征，有很好的检测能力.如常用的程序依赖图表示软件程序的控制依赖和数据依赖关系，控制流图(control flow graph，简称CFG)则是由编译器在内部维护的一种程序的抽象表现，代表了程序执行过程中会遍历到的所有路径.

第二种为单架构和跨架构对比，同时对跨架构算法与单架构算法进行测试和选择，提高效率。单架构组合提升的大致思路为将所有单架构和跨架构看作同等地位，分别进行对比测试，通过测试算法效率精度，得到适应该数据集的特定跨架构高效物联网漏洞检测检测方法，在保证精度的同时大大提升检测效率。该方案能够融合和改进目前的物联网漏洞挖掘算法在静态分析方法上的应用，特别是针对大量不同架构的物联网设备固件能够较好二点进行漏洞检测，有更高的精度和效率，是一种跨架构高效的物联网漏洞挖掘方法。图3-1 跨架构高效物联网漏洞挖掘算法框架。

本项目针对此问题设计了跨架构的高效漏洞检测算法，并搭建前端界面，通过web界面直观反映漏洞数量和类型，以期对大量不同架构的固件进行高效且精确的漏洞检测，形成一套跨架构的高效物联网漏洞挖掘算法。该方案是高效的，体现在对跨架构效率的提升，对搜索向量空间和计算方法进行了改进和提升，减少了计算量的同时不降低精度，利用跨架构方案，利用小数据集进行测试，设计跨架构的高效物联网漏洞挖掘方案，通过方案的选择，对大量特定不同架构、分布稳定的数据集能够有较好的漏洞检测效率。

本章系统地概述了物联网漏洞挖掘技术的现状与存在问题，简要介绍了物联网设备漏洞挖掘面临的挑战和带来的机遇，并对当前的物联网设备的漏洞挖掘的三种技术：静态分析、动态模糊测试、同源性分析技术上进行了介绍，同时对本项目采用的静态分析程序方法进行了详细的介绍。并简述了当前物联网漏洞挖掘方法和其存在的问题，包括单架构和跨架构的问题，针对大量不同架构固件的检测都存在效率或精度上的问题，不能很好的进行漏洞检测，并针对特定适用场景进行了概述。

假设存在一个大型物联网设备开发的公司，该公司中设备的研制和开发都是相对稳定的，且该公司是一个大型公司，物联网设备固件是大量不同架构的，但选择的架构和他们分布的比例不会发送较大变化。由于架构的大量不同的，用单架构算法势必针对每种架构采用特定算法，运行时间长，计算量较大，用跨架构算法的精度不一定能得到保证。针对这种物联网设备漏洞的检测场景，通过跨架构的改进，对特定相对稳定且分布不变的大型数据集，设计跨架构的高效物联网漏洞检测检测方法，在精度不变的情况，使得效率大大提升。

此方法基于Gemini进行改进，在网络迭代过程中，相对于Gemini独立生成每个图的嵌入，GMN还在图之间传递信息，从而充分利用ACFG的特征，能更好地识别图之间的细微差别。因为GMN的嵌入过程中，两个图像的嵌入不是独立的，会在传播层互相交流两个图像的信息，所以最终对于函数得到的嵌入向量就跟函数之间的组合有关系，一个相同的函数在不同的组合情况下，得到的向量可能不一样，有细微的变化，判断能否正确识别漏洞点函数不能再用COS值严格相等。针对跨架构本身，由于算法适应不同的框架，有一定可能会损失一定的精度。

再针对特定的任务提供附加数据<f，f1，Π(f，f1)>，对图嵌入网络中学习得到的参数进行微调，<gi，gi1>和Π(gi，gi1)生成额外的ACFG来重新训练图嵌入网络Φ(g)，得到任务特定模型，通过反馈和微调来提高准确度。因为GMN的嵌入过程中，两个图像的嵌入不是独立的，会在传播层互相交流两个图像的信息，所以最终对于函数得到的嵌入向量就跟函数之间的组合有关系，一个相同的函数在不同的组合情况下，得到的向量可能不一样，有细微的变化，判断能否正确识别漏洞点函数不能再用COS值严格相等。流程如图2-4所示。

本项目对单架构方案进行了测试，通过测试算法效率精度，选择1种或几种方案，得到适应该数据集的特定跨架构高效物联网漏洞检测检测方法，在保证精度的同时大大提升检测效率。跨架构下，无论固件的架构都可以进行检测，但是无论是单架构还是跨架构，目前的算法都存在一定的问题，这也是本项目的研究的关键。单架构方法往往只支持一种或两种指令集架构下的漏洞挖掘。针对不同架构，可以采用不同的方法进行检测，但是前提是检测时需要数据集中所有架构都来自该单架构，才能采用确定的算法进行检测，能够以高精度和高效率完成漏洞的检测。

首先， 该工作人为定义程序特权点，包括未认证的情况下不能输出的数据、未认证情况下不可执行的系统操作、对内存绝对地址的访问、人工分析出的相关特权函数。而对于无操作系统的固件程序， 由于缺少固件执行的描述信息， 导致程序信息恢复不完整，无法进一步实现精准的程序分析。缺失的信息包括: 第一，固件运行时的加载地址。该工作通过协议解析模块离散特征的提取以及分类器的构造， 实现协议解析模块的精确识别， 并聚焦于该类模块的漏洞挖掘， 发现 GPS 接收器、电表、硬盘驱动、程序逻辑控制器多类型物联网设备的漏洞。

虽然通用平台的漏洞挖掘技术和工具不能完全适用于物联网设备， 但大部分程序分析技术、安全测试思路和方案仍可用于物联网设备。因此， 物联网设备漏洞挖掘技术仍然以通用程序分析和安全测试技术作为基础， 结合物联网设备特点， 开展了相关漏洞挖掘技术的研究。当前的物联网设备的漏洞挖掘技术在静态分析、动态模糊测试、同源性分析技术上都有一定的进展。其中， 静态分析技术能够有效解决固件的解析， 以及固件中通用漏洞的分析问题。对于同源性分析技术， 目前的技术已支持大规模固件的多层次关联， 从而实现同源漏洞的发现。

由于物联网设备存在硬件资源受限、硬件复杂异构， 代码、文档未公开的问题， 物联网设备的漏洞挖掘存在较大的挑战：由于物联网设备自身的特点不仅为漏洞挖掘带来挑战， 同时也带来了更多新的机遇：

接下来，本项目的工作将按照物联网漏洞挖掘技术算法的跨架构的改进，跨架构高效系统搭建的设计和实现，系统测试，创新点和总结等方面展开。第三章，本项目先总述了单架构和跨架构算法的问题，接着着重介绍了数据集的构建，跨架构算法的改进方案，单架构对比等方面，并设计了针对特定任务适配的跨架构高效方案。本项目对现有跨架构算法进行了改进，设计了针对特定数据集和大量不同架构固件适用的跨架构的高效物联网漏洞挖掘算法，最终通过可视化界面建立跨架构高效物联网漏洞挖掘系统，能够更高效快速，更加精准的对大量不同架构的固件检测漏洞。

针对特定架构，单架构问题通过架构固定算法检测该平台下固件漏洞，但是针对大量不同架构的漏洞检测，历遍算法显然是不可取的，当前跨架构检测率较好，但效率较低，能否通过算法改进使得精度不变的同时效率能有大幅增加呢？物联网拉近分散的信息，统整物与物的数字信息，物联网的应用领域主要包括以下方面：运输和物流领域、工业制造、健康医疗领域范围、智能环境例如家庭、办公、工厂等领域、个人和社会领域等，具有十分广阔的市场和应用前景。但随着物联网设备的迅速发展和广泛应用，物联网设备的安全也受到了严峻的考验。

1.1.4。

人们可以轻松记住的组合，以及可悲的是，黑客可以轻松猜测的组合。漏洞评级的占比分别为严重占比 16%，高危漏洞占比 40%，中危漏洞占比 42%，低危漏洞占比 2%，可见物联网相关的漏洞通常危害较为严重。从这两个案例可以看得出来，物联网的漏洞影响面通常非常的庞大，其甚至能影响上亿的设备，给人们的生活、生产带来巨大的恶劣影响。因此，进行物联网漏洞挖掘成为必要。设备的隐私问题到物联网全球性漏洞攻击问题，今后很长一段时间，物联网安全威胁将成为网络安全的最大威胁之一，物联网安全支出在整个市场上所占比例也将迅速提高。

所谓半有效的数据是指对应用程序来说，文件的必要标识部分和大部分数据是有效的，这样应用程序就会认为这是一个有效的数据，但同时该数据的其他部分是无效的，这样应用程序在处理该数据时就有可能发生错误，这种错误能够导致应用程序的崩溃或者触发相应的安全漏洞。（1）手工测试是通过客户端或服务器访问目标服务，手工向目标程序发送特殊的数据，包括有效的和无效的输入，观察目标的状态、对各种输入的反应，根据结果来发现问题的漏洞检测技术。但漏洞一般都有相应的补丁，所以可以通过比较补丁前后的二进制文件，确定漏洞的位置和成因。

据CNCERT/CC2007年网络安全工作报告的统计，近年来漏洞数量呈现明显上升趋势，不仅如此，新漏洞从公布到被利用的时间越来越短，黑客对发布的漏洞信息进行分析研究，往往在极短时间内就能成功利用这些漏洞。漏洞是指系统中存在的一些功能性或安全性的逻辑缺陷，包括一切导致威胁、损坏计算机系统安全性的所有因素，是计算机系统在硬件、软件、协议的具体实现或系统安全策略上存在的缺陷和不足。由于种种原因，漏洞的存在不可避免，一旦某些较严重的漏洞被攻击者发现，就有可能被其利用，在未授权的情况下访问或破坏计算机系统。

物联网即万物相连的互联网，是互联网基础上的延伸和扩展的网络，将各种信息传感设备与互联网结合起来而形成的一个巨大网络，通过各类可能的网络接入，实现在任何时间、任何地点，人、机、物的互联互通，实现对物品和过程的智能化感知、识别和管理。在物联网上，每个人都可以应用电子标签将真实的物体上网联结，在物联网上都可以查出它们的具体位置。物联网的应用领域涉及到方方面面，在工业、农业、环境、交通、物流、安保等基础设施领域的应用，有效的推动了这些方面的智能化发展，使得有限的资源更加合理的使用分配，从而提高了行业效率、效益。

但是由于物联网设备存在硬件资源受限、硬件复杂异构， 代码、文档未公开的问题，其攻击波及范围广、损失大，也导致了物联网漏洞检测是业界广为关注的问题。相当一段时间内，物联网技术主要应用于工业、农业、环境、交通、物流、安保等领域，随着物联网技术的进步，其应用场景进一步扩展，在智能家居、公共基础设施等领域得到更多的发展。1.本项目采用了将跨架构方案的进行组合对比，针对大量不同架构但分布相对稳定的数据集，通过测试算法效率精度，通过对方案进行改进，得到高效的物联网漏洞检测检测方法，在保证精度的同时大大提升检测效率。

例如对本项目采用架构检测算法后带入单架构算法是选定单一的，可以通过不同单架构对不同特征的精确度和效率在进一步进行区分和对比，或者针对单架构算法自身进行融合和改进，来进一步提高算法的效率和准确率。再接下来的研究中，本项目应该不断拓展和寻找可能的检测方法，进一步提高该系统的检测精度和效率，提高物联网设备的安全性。但是本系统在使用便捷方面还存在一定的问题本项目也会不断完善和增强该系统的实用性，使得该系统能够更好的应用于现实生活中，切实解决该漏洞造成的安全问题，使物联网技术能安全的被更广泛的应用。

物联网的应用和发展，有利于促进生产生活和社会管理方式向智能化、精细化、网络化方向转变，极大提高社会管理和公共服务水平，催生大量新技术、新产品、新应用、新模式，推动传统产业升级和经济发展方式转变，并将成为未来经济发展的增长点。其应用领域涉及到生活的方方面面，在工业、农业、交通、物流等基础设施领域的应用广泛，有效的推动了这些方面的智能化发展，使得有限的资源更加合理的使用分配，从而提高了行业效率、效益。

本方案设计了一种体系自适应的物联网漏洞挖掘算法，针对大量不同构架的物联网设备固件进行检测。（4）通过精度效率对比得到体系自适应物联网漏洞检测检测方法，并通过可视化软件对方法进行封装；本项目通过对比检测方法，相比传统方式，本方案能够不损失检测精度，加速检测效率。同时，本方案也补充和拓展了以往物联网设备漏洞检测的方法，为物联网设备提供了更强有力的保护。并且经过实验测试，本方案模型检测的效率优于传统方案，对大量分布稳定的物联网设备固件漏洞检测具有很好的应用性。