29、图结构数据的网络新奇性检测

图结构数据的网络新奇性检测

1. 实验设置

• 数据集 ：选用CICIDS2017数据集，它由五个pcap和csv文件组成，包含超两百万个网络会话。该数据集由加拿大新不伦瑞克大学网络安全研究所生成，涵盖五天（周一至周五）的混合流量，有良性流量和各类攻击，如DoS、DDoS、暴力破解、XSS、SQL注入、渗透、端口扫描和僵尸网络活动等。正常流量通过CIC - B - Profile系统生成，可模拟25个用户使用多种协议（FTP、SSH、HTTP、HTTPS和SMTP）的行为；攻击则使用经典工具如Metasploit和Nmap执行。此数据集有标签，能明确攻击发生时间和正常流量时段，例如周一捕获的流量全为正常。使用Zeek IDS工具（原Bro）从捕获文件生成日志文件，采用默认配置。
• 实现细节与配置
  • 编程语言与API ：选用Python语言，使用Gremlin API构建和操作图，同时基于Keras库用Python实现自编码器。
  • 数据库 ：使用Janusgraph数据库，外部索引后端为Elasticsearch，存储后端为Cassandra，以适应大规模图数据库的可扩展性需求。
  • 实验环境 ：在配备64GB RAM的Debian 9机器上进行实验。
  • 自编码器结构 ：输入层和输出层均有1458个神经元（18 + 4 * 360），自编码器有五个隐藏层，编码器