1. 梯度下降法梯度下降法的原理可以参考：斯坦福机器学习第一讲。我实验所用的数据是100个二维点。如果梯度下降算法不能正常运行，考虑使用更小的步长(也就是学习率)，这里需要注意两点：1）对于足够小的,  能保证在每一步都减小；2）但是如果太小，梯度下降算法收敛的会很慢；总结：1）如果太小，就会收敛很慢；2）如果太大，就不能保证每一次迭代都减小，也就不能保证收敛；

CNNs应用的最成功的一个例子：Yann LeCun（曾经是Hinton组的research associate）http://yann.lecun.com/exdb/lenet/index.html code project上的一个C++写的例子，有很详细的文档说明：http://www.codeproject.com/Articles/16650/Neural-

写在前面：    上一个学期一直都在看deep learning的一些理论知识，着重看了一些关于卷积神经网络（convolutional neural network）。趁现在暑假，时间比较充裕写点程序完善一下之前看的知识。    先给大家上点开胃菜，这两天写了个可扩展的多层神经网络，里面没什么新东西，没rbm也没卷积，就是一个普普通通的神经网络，写完这个再打算写卷积神经网络。