JhonsonLai's Blog

Relu：从生物神经方面讲述relu的来源最小二乘法（Least squares)：中的二乘是平方的意思逻辑回归最大似然估计：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。最大后验估计：MAP与MLE最大区别是MAP中加入了模型参数本身的概率分布，或者说。MLE中认为模型参数本身的概率的是均匀的，即该概率为一个固定值。可配合知乎的答案看。momentum冲量：v = -

参考文档：1. http://blog.youkuaiyun.com/churximi/article/details/51627849安装anaconda安装cuda配置测试安装anaconda国内到https://mirror.tuna.tsinghua.edu.cn/下载更换成国内源,国内源速度快，但不一定稳定conda config --add channels 'https://mirror

LSTM理论学习理论参考链接：Understanding LSTM Networks：简明易懂，网友翻译版LSTM最关键的就是实现cell state的传输，而gate的存在决定传输过程中，以前的cell state信息多少需要抛弃，多少输入信息需要加入新的cell state，多少信息需要输出。(所以有forget, input, output三个gate)忘记多少cell state：forg