- 博客(2)
- 收藏
- 关注
RSS订阅原创 使用apex进行半精度计算
O1：混合精度训练（推荐使用），根据黑白名单自动决定使用FP16（对 Tensor Core 友好的操作, 如GEMM, 卷积）还是FP32（Softmax）进行计算。O2：“几乎FP16”混合精度训练，不存在黑白名单，除了Batch norm，几乎都是用FP16计算。O3：纯FP16训练，很不稳定，但是可以作为speed的baseline；O0：纯FP32训练，可以作为accuracy的baseline；再用apex.initialize进行混合精度初始化。最后再并行化，顺序不能错。
2023-03-01 20:33:38
406
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人