mooyuan的网络安全博客

本文是《Web安全与深度学习实战》的读书笔记总结，这本书涵盖垃圾邮件/垃圾短信、恶意流量检测、XSS检测、DGA域名、恶意软件分析等场景，结合实战案例讲解如何用机器学习和深度学习模型（CNN、RNN等）解决传统安全难题。

本章主要以Credit Card Fraud Detection数据集为例子介绍针对信用卡欺诈的检测技术，使用特征提取方法为标准化，以及基于标准化基础上的降采样和过采样，介绍的分类算法包括朴素贝叶斯、XGBoost和多层感知机。相对于其他章节，本小节主要是学习过采样和降采样的处理方法，这在机器学习领域是非常重要的知识。

本小节主要以MNIST数据集为例介绍恶意程序的分类识别技术，使用特征提取方法为2-Gram和TF-IDF模型，介绍的分类算法包括支持向量机、XGBoost和多层感知机。

域名生成算法（Domain Generation Algorithm，DGA）是一项古老但一直活跃的技术，是中心结构僵尸网络赖以生存的关键武器，该技术给网络安全人员造成了不小的麻烦。针对基于DGA的僵尸网络（如图13-1所示），研究人员需要快速掌握域名生成算法和输入，对生成的域名及时进行处置。DGA依赖时间、字典和硬编码的常量动态生成域名

 本小节的内容虽然放到智能扫描器中，但是自动识别登录界面实际上是让通过让机器通过学习20News Groups Dataset数据样本，挖掘登录与注册页面常见关键字，如输入参数为password，即求与password接近的单词；而输入参数为email，即求与email相近的但此处。看到这里，相信非初学者应该已经了解本小节的本质是什么了，那就是通过Word2Vec来分析语义相似度。

本小节讲述通过webshell载荷的生成。别看本小节的标题较为炫酷，实际上是这就是通过让机器通过学习攻击样本，使用RNN的LSMT算法自动生成XSS攻击载荷

本小节通过多种算法（机器学习和深度学习）算法来识别webshell ，较opcode是计算机指令中的一部分，用于指定要执行的操作，指令的格式和规范由处理器的指令规范指定。除了指令本身以外通常还有指令所需要的操作数，可能有的指令不需要显式的操作数。这些操作数可能是寄存器中的值、堆栈中的值、某块内存的值或者I/O端口中的值等。通常opcode还有另一种称谓—字节码（byte codes）。例如Java虚拟机（JVM）和.NET的通用中间语言（Common IntermeditateLanguage，CIL）等。

本章基于SEA数据集介绍UBA的一个典型应用场景，即恶意操作行为检测。事实上，在《web安全之机器学习入门》中，我们已经了解过该数据集。我们将恶意内部人员和内部员工的异常操作统称为恶意操作。检测这种恶意操作需要使用高级技术，比如用户行为分析（User Behawiors Analysis，UBA），这种新兴技术可提供以往被遗漏的数据保护和欺诈检测功能。结合用户日常操作的系统，UBA利用一种专门的安全分析算法，不仅可以关注初始登录操作，还能跟踪用户的一举一动。UBA有两个主...

本章主要以ADFA-LD数据集为例介绍Linux系统的后门检测，使用特征提取方法为2-Gram和TF-IDF，介绍的分类算法包括朴素贝叶斯NB、XGBoost和深度学习之多层感知机MLP。

本章主要以SMS Spam Collection数据集 为例介绍骚扰短信的识别技术。之前通过（1）（2）（3）（4）共4篇文章来讲解骚扰短信数据集特征向量的提取，包括词袋和TF-IDF模型、词汇表模型以及Word2Vec和Doc2Vec模型，分别如下所示​​​​​​ 《Web安全之深度学习实战》笔记：第八章 骚扰短信识别（1）_mooyuan的博客-优快云博客​​​​​​《Web安全之深度学习实战》笔记：第八章 骚扰短信识别（2）_mooyuan的博客-优快云博客《Web安...

本章主要以SMS Spam Collection数据集 为例介绍骚扰短信的识别技术。这一个小节以Word2Vec对骚扰短信特征提取方法来详细讲解。

本章主要以SMS Spam Collection数据集 为例介绍骚扰短信的识别技术。这一个小节以Word2Vec对骚扰短信特征提取方法来详细讲解。Word2Vec模型一、原理 Word2Vec是Google在2013年开源的一款将词表征为实数值向量的高效工具，采用的模型有连续词袋（Continuous Bag-Of-Words，CBOW）模型和Skip-Gram两种，原理图见下图。Word2Vec通过训练，可以把对文本内容的处理...

本系列文字主要以SMS Spam Collection数据集 为例介绍骚扰短信的识别技术。本文《Web安全之深度学习实战笔记：第八章 骚扰短信识别2》通过TF-IDF模型和N-gram分别对SMS Spam Collection数据集分类。

本章主要以SMS Spam Collection数据集 为例介绍骚扰短信的识别技术。介绍识别骚扰短信使用的征提取方法，包括词袋和TF-IDF模型、词汇表模型以及Word2Vec和Doc2Vec模型，介绍使用的模型以及对应的验证结果，包括朴素贝叶斯、支持向量机、XGBoost和MLP算法。这一节与第六章的垃圾邮件、第七章的负面评论类似、只是识别的内容变为了骚扰短信，均为2分类问题。一、数据集测试数据来自SMS Spam Collection数据集，SMS Spam Collec...

本章主要以SMS Spam Collection数据集 为例介绍骚扰短信的识别技术。介绍识别骚扰短信使用的征提取方法，包括词袋和TF-IDF模型、词汇表模型以及Word2Vec和Doc2Vec模型，介绍使用的模型以及对应的验证结果，包括朴素贝叶斯、支持向量机、XGBoost和MLP算法。这一节与第六章的垃圾邮件、第七章的负面评论类似、只是识别的内容变为了骚扰短信，均为2分类问题。一、数据集测试数据来自SMS Spam Collection数据集，SMS Spam Collection是用于骚扰短信识

本小节相对于上节内容，主要是讲解了word2vec和doc2vec这两种方法提取特征向量，模型构建部分则是增加了随机森林。事实上构造word2vec和doc2vec这两个向量模型过于耗时，直接使用作者的源码测试性能并没有如此好，甚至有点差得离谱，我觉得应该是参数仍有较大调优的空间。

本小节使用Enron-Spam数据集来识别垃圾邮件，通过多种方法处理数据集，同时使用多种机器学习的方法来识别垃圾邮件。一、数据集介绍垃圾邮件对于企业邮箱用户的影响主要是给日常办公和邮箱管理者带来额外负担，尤其是钓鱼邮件更是有可能导致企业遭受巨大损失。根据不完全统计，在高效的反垃圾环境下依旧有80%的用户每周需要耗费10分钟左右的时间处理这些垃圾邮件。对于企业邮件服务商而言，垃圾邮件大量占用网络资源，使得邮件服务器大部分资源都耗费在处理垃圾邮件上，不仅大大浪费资源，甚至可能影响企业正常业务邮件的沟

在 Web 安全领域，验证码识别是保障系统安全的关键防线，本小节实际上就是用KNN、SVM、MLP、CNN识别验证码。

本章对应《Web安全之深度学习实战》第三章内容，主要讲解RNN的基本概念、主要的实现方法和应用场景，包括序列分类、序列生成以及序列翻译。

本文通过cnn、alexnet、vgg来识别MNIST数据集，flower17数据集，主要展示卷积神经网络在图像领域的基本用法。

在深度学习领域，MNIST 数据集作为经典的入门级数据集，常被用于学习模型基础用法。《Web安全之深度学习实战》这本书的第一部分以 Keras 和 TensorFlow 两大框架识别 MNIST 数据集为例，揭开深度学习的神秘面纱。