xuelangqingkong的专栏

神经网络是当前机器学习中炙手可热的一个模型门类，其中的调参技巧也是层出不穷，从刚开始的BP，到SGD等。在使用 Pytorch 的过程中，我们会发现在配置 SGD optimizer的时候需要配置一个参数 momentum，那么这个参数是做什么的呢？optimizer = optim.SGD(model.fc.parameters(), lr=1e-2, momentum=0.9)这个必须要从SGD 的原理开始说起：图的最上方为每个iteration（每个batch为一个iterat.

最近，深度学习Deep Learning 的热潮依旧，而且有着愈演愈烈的趋势，所以为了迎合这股潮流，学习一些主流的深度学习框架还是很必须的。现在的主流深度学习框架，主要是 Google 系的 TensorFlow 以及 Facebook 系的 Pytorch，其他还有 Keras，Caffe， 微软的 CNTK 等2020年结束，TF 和 Pytorch 两大框架基本上可以说是平分天下！形势有点像手机操作系统中的IOS 和 Android。同时，国内的DL框架还是局限在几个大厂里面，例如华为