智商不够，时间来凑

bn是什么？神经网络每层激活函数前的输出进行 z-score,即减去batch均值,除以方差，然后再修正，最后再送进激活函数。 y=WTx+by^=y−uδy^=γy^+βz=max(0,y^) y=W^Tx+b \quad \hat y=\frac{y-u}{\delta}\quad \hat y=\gamma \hat y +\beta \quad z=max(0, \hat y) 其中

先占个坑, 花式CNN，看花了我的眼啊，佩服这些大佬，写点东西，梳理一下这些CNN。（持续更新）

1. softmax lossForward: Zj=wTyjxi+byj（1）Z_j={w^T_{{y_j}}x_i+b_{y_j}} （1） pj=eZj∑keZk（2）p_j = \frac{e^{Z_j}}{\sum_k e^{Z_k}} （2） Lk=−∑jqj,klogpj（3） L_k=-\sum_j q_{j,k} log {p_j}（3） Backward: ∂pj∂Z

听了吴大大deep learning ai 课程对Hinton大牛研究的Capsules(胶囊)感兴趣。先挖个坑，以后有时间来填。

关于libprotobuf 版本问题，anconda中的版本和系统中的版本，sudo proto –version, proto –version，不同。用sudo make all 编译。重新编译时，一般先make clean ，防止出现意外错误。

是什么？增量式算法：就是每当新增数据时，并不需要重建所有的知识库，而是在原有知识库的基础上，仅做由于新增数据所引起的更新，这更加符合人的思维原理。为什么？对于传统的批量学习技术来说,如何从日益增加的新数据中得到有用信息是一个难题。随着数据规模的不断增加,对时间和空间的需求也会迅速增加,最终会导致学习的速度赶不上数据更新的速度。机器学习是一个解决此问题的有效方法。然而传统的机器学习是批量学习方式,需要