30、构建生产就绪的入侵检测系统技术解析

构建生产就绪的入侵检测系统技术解析

1. 分布式深度学习的数据处理与H2O特性

在分布式深度学习中，数据处理方式多样。每个节点会从本地可用数据中获取样本，具体是否采样取决于本地数据量与请求量的大小关系。若本地数据量大于请求量，可能不进行采样；反之则需采样。不过，有放回采样可能会因在重复且有限的数据子集上训练而影响模型准确性。若启用复制功能，假设内存允许，每个节点将始终拥有最多的本地数据。

1.1 特殊情况及处理

存在两种特殊情况：
- 当 train_samples_per_iteration = -1 时，意味着不进行采样，而是每次迭代都在相同的数据集上反复训练，这在多个训练周期中是冗余的。
- 当 samples_per_iteration 接近或大于 N * n 且启用复制功能时，每个节点在每次迭代时几乎会使用全部数据甚至更多，同样会导致每次迭代重复使用几乎相同的数据。

对于这两种特殊情况， shuffle_training_data 会自动开启，即每次训练前会对本地数据进行随机打乱。

1.2 H2O的自适应调整

H2O提供了一种智能方式，通过平衡CPU成本和网络开销，自动调整每次迭代的数据大小。除非有微调系统的特殊需求，否则建议使用自调整选项。分布式深度学习算法在准确性和训练速度上都有助于最终模型，即使数据集不是非常大，这种分布式方法在生产系统中也值得考虑。

1.3 流程图