一款新兴的操作pcap的神器

一 前言

有机会接触到这款软件，还是同事的一个图，图介绍了开源项目Zed和基于Zed做的一款全流量安全产品Brim。整个产品其实是不少开源项目的一个小集成，只所以感兴趣，除了brim在github有1.5k个star的原因外，更吸引我的是它使用了一种新的数据结构，超结构化的数据模型，通过这种结构可以集数据的压缩、索引、数据的分析于一体，而不用数据存储的各类数据库、NoSQL，简单方便。

二 Zed和它的支持格式

Zed简单来看就是一款开源的命令行工具，可以操作Zed新型的超结构化的模型数据，复杂来看，可以看看官方的解释：

1. zed 数据模型和语义的抽象定义；
2. zed是ZNG、VNG、ZSON格式、这些格式都遵循相同的Zed数据模型。
3. zed是存储可选索引的Zed数据模型。
4. zed是一种数据流语言、可以执行查询、搜索、分析、转换或上面的组合；

2.1 Zed数据模型

zed数据为一个或多个类型化的数据值的有序序列、可以支持常见的编程语言中的原始数据类型比如：

uint8(无符号8位整数）
 decimal128（IEEE-754 十进制128）
 bytes（8字节的有界序列）
 ...
 ip（ipv4、ipv6）
 net (IPv4 或 IPv6 地址和网络掩码)
type 一个zed类型值
 null(空类型）

还支持复杂的数据类型:

record - 具有零个或多个排序的集合、每个称字段
array、set、map、union、enum、error