15、高性能计算在机器学习与智慧农业中的应用

高性能计算在机器学习与智慧农业中的应用

1. 机器学习通信成本与相关技术

在机器学习领域，网络处理以及大量且占主导地位的变量传输会导致显著的通信成本。在计算过程中会执行存储复制程序，使用多层通信协议工作时也会产生相关费用。随着深度学习模型规模的增长，其变量数量会迅速增加，快速且大规模的并行计算需要环形互连连接。

为了有效降低大规模分布式机器学习的通信成本，相关技术不断涌现：
- 远程员工交换监督神经变异 ：通过创建新的思维网络环境并允许所有员工访问系统存储，实现远程员工快速交换监督神经变异。
- 全球监督神经主内存架构 ：可用于通过高速网络技术耦合的高性能组，采用RDMA技术避免数据在实现和内核级内存缓冲区之间的通信传输过程。
- 异步SGD相关技术 ：
- Hogwild ：证明了在主存储结构中使用相同权重和单独信息分片的机器学习活动可以使用异步SGD学习DNN，无需锁定。
- Dogwild架构 ：作为Hogwild的改进，通过在主操作和从操作之间异步交换权重和偏差来进行DNN学习。
- Dist Belief提出的Downpour SGD ：支持大量模型复制。
- Sandblaster批处理优化技术 ：支持多样化的网络系统，每个DNN训练代理可以在无同步成本的情况下以不同速度获取参数，最大化CPU和互联网连接的使用。

2. 高性能计算系统（