wshzd的博客

具体分析，可以参考：https://huggingface.co/Qwen/Qwen-72B-Chat-Int8#%E6%8E%A8%E7%90%86%E9%80%9F%E5%BA%A6%E5%8F%8A%E6%98%BE%E5%AD%98%E4%BD%BF%E7%94%A8-inference-speed--gpu-memory-usage。（Wu，X.等人2023）值得注意的是，FP8的激活超过了INT8，尤其是在更大的模型中。此外，FP8和FP4的权重量化要么与它们的INT等价物竞争，要么超过它们。