书生的日常

rand是随机生成值在0-1之间的函数；randn是随机生成均值为0，方差为1的正态分布上的数值。通过一张图可以清晰看到区别%matplotlib inlineimport matplotlib.pyplot as pltplt.hist(np.random.rand(100000), density=True, bins=100, histtype="step", color="blue", label="rand")plt.hist(np.random.randn(100000), den

在进行业界大规模数据处理及特征工程的时候，往往需要对dataframe进行处理。而处理方式一般人会选择用apply的方式。apply方式进行了一些底层的优化，相比直接对dataframe进行for循环效率高了很多。但是，尽管使用了apply后，依然有很多优化的空间。方法如下：Pandas循环提速7万多倍文中提到了一种用numpy进行优化的方法，但是具体的实施方式说得并不清楚。至于为什么采用numpy会对pandas的循环有如此明显的效果优化，stack overflow给出了解释。那么了解了

最近在项目中用到LSTM预测，涉及到了大量的numpy数据处理工作。尤其是numpy的增加数据处理，和pandas及list很不一样。目前，插入有两种方式：np.append和np.insert1.np.append能对多维的数组进行操作例如，这里X_test是一个shape为（1,40,1）的数组，我们想向中间的维度（40）添加一个数字1，并删除第一个数字.........