大数据最新DARPA TC-engagement5数据集官方工具可视化_darpa数据集(1)

CDM工具

Logstash

可视化查看

原始压缩数据.bin.gz

溯源图json

elasticsearch数据库

grafana

说说我目前的情况。前面大差不差，elasticsearch能看到 json 数据，但是最后一步grafana玩不懂。我找不到增加数据源的入口，或是内置了入口我不知道怎么看。

其实从上面的流程就可以看出来，别的都是开源工具辅助查看，重点就是从日志构建溯源图并以流式传输。elssticsearch是为了存数据，配合grafana为溯源图的节点编辑标签，logstash是为了捕获流式数据。
这里推荐UNICORN，作者开源了数据集和代码。里面包含了四种日志解析器和构建好的溯源图。代码在这里，数据集在这里，我自己写的论文笔记在这里。

如果你还是想走个流程感受一下，建议先看完文章再动手，因为作者的readme有点抽象。

1. 相关资料

对于数据集的介绍不再赘述，参考绿盟的文章：AISecOps：从DARPA TC项目看终端攻防
数据集地址：engagement5（是谷歌云盘，需要科学上网），或者github，里面有下载脚本（我没试过）。
如果下载存在问题，我推荐分批下载。具体来说，就是每次选中几十个压缩包（我是20个一批）作为一批下载，谷歌云盘会自动进一步压缩之后开始下载。下载下来之后再解压缩就ok了。千万别贪多，不然会出现漏包、网络原因中断等情况。

---

2. 数据集概况

engagement5 包含四个文件夹和三个文件，其具体内容如下：

文件	内容
Data	原始数据（已压