qq_19859865的博客

FLoating point的数据类型是我们常用的一种数据结构，但是关于它的表达形式以及运算方式，我们真的理解清楚了吗？int main()针对上面的代码，我们期待的结果是什么？答案如下：这个当然可以归咎于浮点数的精度问题，但是值得注意的是，这个过程中并没有出现overflow。那为什么导致了计算的误差呢？首先，小数基于二进制可以通过下列方式表达。但是，对应的问题是，表达的范围和精度都很受限。特别大的数和特别小的数通过有限的bits数都很难表达。

存储的tensor按照行优先（row major）的顺序存储。如下图，当访问每一行的下一个元素，你只需要前进一步（stride），但是访问下一列的元素，需要前进四步（strides）。在PyTorch中，有些对Tensor的操作并不实际改变tensor的内容，而只是改变如何根据索引检索到tensor的byte location的方式，比如narrow()view()expand()permute()[1]。