StreamSpot数据集完整使用指南：网络异常检测的终极数据源

StreamSpot数据集完整使用指南：网络异常检测的终极数据源

【免费下载链接】sbustreamspot-data Datasets used in the StreamSpot experiments 项目地址: https://gitcode.com/gh_mirrors/sb/sbustreamspot-data

StreamSpot数据集是专为网络异常检测研究设计的流图数据集合，为数据科学家和机器学习工程师提供了丰富的网络安全分析素材。该数据集包含600个良性场景和攻击场景的流图边数据，是构建高效网络异常检测模型的理想数据源。

项目概览与核心价值

StreamSpot数据集的核心价值在于为网络异常检测研究提供标准化的流图数据格式。该数据集基于真实的网络流数据构建，能够有效模拟各种网络攻击场景，包括驱动下载攻击、恶意软件传播等典型网络安全威胁。

数据集包含三个主要子集：

• ALL数据集：包含所有600个场景的完整边数据
• YDC数据集：包含YouTube、Download、CNN三种场景
• GFC数据集：包含GMail、VGame、CNN三种场景

数据准备与处理流程

获取数据集

首先需要获取StreamSpot数据集，可以通过以下命令克隆项目：

git clone https://gitcode.com/gh_mirrors/sb/sbustreamspot-data
cd sbustreamspot-data

解压数据文件

数据集以压缩包形式提供，需要先解压：

tar -xzf all.tar.gz

数据格式说明

StreamSpot数据集采用制表符分隔的文本格式，每行代表一条边，包含以下字段：

source-id  source-type  destination-id  destination-type  edge-type  graph-id

关键组件详解

核心脚本文件

preprocess.py - 数据预处理脚本 该脚本负责将原始流图数据转换为标准格式，主要功能包括：

• 节点和边类型映射为单字符表示
• 合并相同节点对之间的连续边
• 节点ID重新编号（-1变为0）
• 移除时间戳字段

数据类型映射

预处理脚本内置了完整的数据类型映射表：

原始类型	映射字符	原始类型	映射字符
process	a	accept	i
thread	b	access	j
file	c	bind	k
MAP_ANONYMOUS	d	chmod	l
NA	e	clone	m

实用操作指南

运行预处理脚本

处理原始数据文件的基本命令：

python preprocess.py <原始边数据文件>

数据集场景分类

数据集包含6种不同的网络场景，每个场景对应100个图ID：

场景类型	图ID范围	描述
YouTube	0-99	视频流媒体场景
GMail	100-199	邮件服务场景
VGame	200-299	在线游戏场景
驱动下载攻击	300-399	恶意软件攻击场景
Download	400-499	文件下载场景
CNN	500-599	新闻网站场景

数据提取示例

从ALL数据集中提取特定子集：

# 提取YDC数据集（YouTube, Download, CNN）
graph_ids = list(range(0, 100)) + list(range(400, 500)) + list(range(500, 600))

最佳实践建议

数据使用技巧

1. 数据分区：建议按照8:1:1的比例划分训练集、验证集和测试集
2. 特征工程：可以利用节点度、聚类系数等图特征增强模型性能
3. 异常检测：重点关注图ID 300-399的攻击场景数据

常见问题解决方案

问题1：预处理脚本运行错误 解决方案：确保输入文件格式正确，包含逗号分隔的原始边数据

问题2：数据格式不一致 解决方案：使用统一的预处理流程，避免直接修改原始数据文件

性能优化建议

• 对于大规模数据处理，建议使用分布式计算框架
• 可以利用图数据库存储和查询流图数据
• 考虑使用增量学习处理实时流数据

StreamSpot数据集为网络异常检测研究提供了宝贵的数据资源，通过合理的数据预处理和特征工程，可以构建出高效的网络安全监测模型。建议在使用过程中详细记录数据处理流程，确保实验的可复现性。

【免费下载链接】sbustreamspot-data Datasets used in the StreamSpot experiments 项目地址: https://gitcode.com/gh_mirrors/sb/sbustreamspot-data