numpy数据类型转换Memory Error解决办法之给元素构建数字映射

       当我们用numpy处理数据时，由于numpy的内存管理机制，其要求所有的元素的内存size一致，这样很多时候就会存在一个问题：一旦数据中出现了一个占据字节数很大的元素，那么所有的元素都会同样的占据该内存大小，尽管其他的元素并不需要这么大的内存就可以储存；这个问题就容易造成内存的消耗过大，内存浪费，如果机器内存本身不大，数据量又很大，那么就会导致memory error。

       对此，我们解决的办法是先进行数据的内存分析，看哪些元素可能占据内存较大，找出占据主要内存的元素，然后关键的一步就是对这些columns的元素构建数字映射，用简单的占据内存较小的int或者float数据类型去替代，当然为了保证原数据和数字之间可以准确的来回转换，就要保证这个映射是一个双射，即一一对应。当然，前提是在计算中不需要对这些columns做关于元素本身的计算或者处理，最多只是作为一个标记处理，即无关元素内容的处理，这样才可以用数字映射实现这种转换，不然转换为数字之后，同时又要基于原数据除了标记意义之外的内容做处理，那么这种方式就无能为力了。如果是后者，则可以对数据进行分块处理，减少一次性的内存占用，但是这里的一个前提是处理的逻辑允许分块处理，如果处理逻辑就是要求遍历所有数据，那么这种方式也无能为力，就需要寻求其他的数据结构来进行处理。