关于深度学习中的数据结构INT\FLOAT\FP（为使用FP数据类型调用TensorCore的知识储备）

• 首先我们需要知道何为bits和bytes?

  bits:名为位数
  bytes:为字节
  简单的数就是MB和G的关系！那么8bits=1bytes，下面是各个单位的相互转化！
  
  *引用自https://blog.youkuaiyun.com/m0_43432638/article/details/89973862

• INT - 也就是整数，比如INT8就是8bit整数，取值范围是-128~127也就是256（2^8）个数，
  （整数在内存中没什么符号位，区分正负只是为了软件需要）。
  那么为什么后来有INT16 INT32之类的呢？很简单，数值范围不够用了。
  在计算机上，8、16、32、64、128纯粹是因为首先它是二进制，其次数据容易对齐。在编程语言中，不同数据类型并没有强制的使用环境，比如你定义变量是一个8bit数还是32bit数只要够用都可以，只不过数据长度太长占内存。

• FLOAT、TF FLOAT32

  半精度（16）、单精度（32）、双精度（64）这些概念是在IEEE 754标准里定义的，浮点计数是利用浮动小数点的方式使用不同长度的二进制来表示一个数字，与之对应的是定点数。同样的长度下浮点数能表达的数字范围相比定点数更大，但浮点数并不能精确表达所有实数，而只能采用更加接近的不同