fp16与fp32简介与试验

 

目录

一、fp16和fp32介绍

二、为什么应用fp16训练：

三、应用fp16存在问题

四、实践对比

引用：

---

一、fp16和fp32介绍

• fp16是指采用2字节(16位)进行编码存储的一种数据类型；同理fp32是指采用4字节(32位)；

  

• 如上图，fp16第一位表示+-符号，接着5位表示指数，最后10位表示分数；
  • 公式：

    

  • 其中，sign位表示正负，exponent位表示指数（  ），fraction位表示的是分数（  ）。其中当指数为零的时候，下图加号左边为0，其他情况为1。
  • 具体计算情况可分为下面三种：

    

  • Exp:

    

  • 所以可以计算出，fp16值动态区间：精度其实为