利用torch.fx进行后量化

torch.fx 量化支持——FX GRAPH MODE QUANTIZATION

torch.fx目前支持的量化方式：

• Post Training Quantization
  • Weight Only Quantization
  • Dynamic Quantization
  • Static Quantization
• Quantization Aware Training
  • Static Quantization

其中，Post Training Quantization中的Static Quantization和Dynamic Quantization提供了demo。

与Eager模式对比

简单来说，fx提供一个Graph模式：

• 可以自动插入量化节点（如quantize和dequantize），不需要手动修改当前的network及forward
• 这个模式下可以看到for